用 AI 核对知识蒸馏：损失乘了温度平方，梯度为何仍没完全变回去 把较大的分类模型压缩到小模型时，知识蒸馏会让学生学习教师给出的整组概率。相关实现常把软目标损失乘T²。若AI把这解释成“温度影响被精确抵消”，一个三分类算例就能发现不对：补偿后的梯度仍可能变化。 yunqueblog/ AI分享/ 2026-10-03/ 3 阅读
yunqueblog