模型并行 2 篇文章

聚焦大模型在多设备上的切分与协同策略,涵盖张量并行、流水线并行等主流方案的通信特征与工程调优方法