模型并行 分布式训练 人工智能与大模型2026-11-12 13:48:48 模型并行训练中梯度同步的三种实现方式对比 模型并行训练中梯度同步的三种实现方式各有优劣:同步聚合适合小规模集群,异步更新仅适用于特定场景,压缩与延迟同步在平衡开销与收敛性上表现突出。据NVIDIA数据显示,梯度同步通信占整体通信量的75%以上,选择正确策略可提升训练效率4倍以上。 阅读全文
深度学习训练 显存优化 PyTorch 混合精度 模型并行 人工智能与大模型2026-11-06 08:45:57 深度学习训练显存溢出的几种典型场景排查 深度学习训练显存溢出的根因包括批次过大、中间激活值存储、优化器状态和PyTorch缓存碎片。排查时先计算参数、梯度和优化器状态的理论显存,再启用梯度累积或激活检查点。混合精度可节省约15%-20%显存,设置PYTORCH_CUDA_ALLOC_CONF能缓解碎片化问题。模型很大时用ZeRO或流水线并行替代张量并行。 阅读全文