知识蒸馏 大语言模型 嵌入式与物联网2026-11-06 19:43:58 模型蒸馏如何让千亿参数大模型在端侧设备部署落地 文章介绍模型蒸馏如何将千亿参数大模型压缩至端侧设备,涵盖三种蒸馏范式、关键步骤、避免遗忘的技巧、量化剪枝协同优化及评估指标,并结合行业案例说明落地效果,强调蒸馏是端侧AI的核心技术路径。 阅读全文
知识蒸馏 深度学习 人工智能与大模型2026-11-11 13:15:35 蒸馏损失在模型压缩中的关键作用与调参技巧 蒸馏损失是知识蒸馏框架的核心,通过软标签传递教师模型的暗知识,实现模型压缩。文章解析蒸馏损失构成、不同任务的变体设计以及温度系数和权重等调参技巧,并结合实验数据展示如何高效压缩模型至原始体积的几分之一而精度仅小幅下降。 阅读全文