大模型 训练优化 人工智能与大模型2026-11-06 08:12:41 大模型训练显存溢出的常见诱因与处理方案 大模型训练显存溢出的主要诱因是激活值、优化器状态和梯度叠加超出硬件上限。梯度检查点可将激活值显存从O(n)降至O(√n),混合精度能降低约50%显存,优化器状态在Adam下占整体内存的67%以上。实际工程中优先组合梯度检查点与混合精度,可显著提升单卡可训练规模。 阅读全文