混合精度 5 篇文章

混合精度训练通过在半精度和全精度之间分配计算任务,降低显存占用并提升吞吐,但需要根据硬件能力和任务特性选择FP16或BF16,并配合损失缩放策略保证数值稳定。

封面
深度学习训练 显存优化 PyTorch 混合精度 模型并行

深度学习训练显存溢出的几种典型场景排查

深度学习训练显存溢出的根因包括批次过大、中间激活值存储、优化器状态和PyTorch缓存碎片。排查时先计算参数、梯度和优化器状态的理论显存,再启用梯度累积或激活检查点。混合精度可节省约15%-20%显存,设置PYTORCH_CUDA_ALLOC_CONF能缓解碎片化问题。模型很大时用ZeRO或流水线并行替代张量并行。

阅读全文
封面
混合精度 深度学习 模型训练 GPU计算

混合精度训练不稳定怎么办 排查思路分享

混合精度训练不稳的根因是FP16数值溢出与精度失真,推荐优先使用BF16并启用动态损失缩放。排查需按梯度溢出、损失缩放失配、批量归一化异常三层推进,同时保持优化器主权重在FP32空间更新。NVIDIA数据显示纯FP16训练约30%-50%模型会出现梯度溢出,合理配置后稳定性可达全FP32训练同等水平。

阅读全文