人工智能与大模型2026-08-22 20:20:46

知识蒸馏温度参数设定对模型性能的影响与调参方法

知识蒸馏种子的关键在温度参数T，合理范围随任务不同而变化。分类场景推荐T等于3到4，自然语言任务可尝试更大值。温度过高会让教师软标签分布趋平，温度过低则会压制负样本信息，导致蒸馏效果不明显。需要配合蒸馏权重alpha与学习率调整，才能帮助学生模型继续核心泛化能力。

阅读全文