深度学习训练显存溢出的几种典型场景排查

深度学习训练显存溢出的根因包括批次过大、中间激活值存储、优化器状态和PyTorch缓存碎片。排查时先计算参数、梯度和优化器状态的理论显存,再启用梯度累积或激活检查点。混合精度可节省约15%-20%显存,设置PYTORCH_CUDA_ALLOC_CONF能缓解碎片化问题。模型很大时用ZeRO或流水线并行替代张量并行。

阅读全文