知识蒸馏 2 篇文章

知识蒸馏是将大型教师模型的知识迁移到小型学生模型的技术,温度系数是蒸馏框架中的关键超参数,控制软标签的平滑程度,影响暗知识的传递效率。