深度学习训练 显存优化 PyTorch 混合精度 模型并行 人工智能与大模型2026-11-06 08:45:57 深度学习训练显存溢出的几种典型场景排查 深度学习训练显存溢出的根因包括批次过大、中间激活值存储、优化器状态和PyTorch缓存碎片。排查时先计算参数、梯度和优化器状态的理论显存,再启用梯度累积或激活检查点。混合精度可节省约15%-20%显存,设置PYTORCH_CUDA_ALLOC_CONF能缓解碎片化问题。模型很大时用ZeRO或流水线并行替代张量并行。 阅读全文