大模型 推理性能 Transformer 人工智能与大模型2026-11-12 13:32:01 如何通过跨层注意力共享压缩KV Cache显存占用 跨层注意力共享将Transformer各层的KV Cache按组复用,可使KV Cache显存占用降低50%至66%。通过调整共享分组模式,70亿参数模型在3:1共享下困惑度仅上升1.2%,是兼顾精度与显存的高效KV Cache优化方案。本文介绍了实现机制、效果对比及与量化等方法的组合策略。 阅读全文
模型量化 模型优化 推理性能 混合精度 工具链 人工智能与大模型2026-11-10 13:43:46 模型量化压缩后推理精度损失如何补救 模型量化引起的推理精度损失可以通过校准策略、混合精度量化、量化感知训练和推理优化四层手段有效补救。以MSE校准替代MinMax可提升0.5到1个百分点,QAT平均多恢复1到2个百分点,组合策略可把精度损失控制在0.5%以内。 阅读全文