模型蒸馏的训练过程分为教师模型训练、软标签生成、学生模型蒸馏训练三个阶段。第一阶段训练教师模型，使用大规模高质量标注数据集，通过标准监督学习方法训练得到性能强大但计算成本高的复杂模型；第二阶段生成软标签与知识提取，将训练集数据通过教师模型前向传播，引入温度参数T（T>1）对教师模型输出logits做温度缩放，计算得到蕴含类间关系与不确定性的软标签，也可提取教师模型中间层特征图或注意力图作为迁移知识
本文转载自：CSDN文库
原文链接：https://wenku.csdn.net/answer/by9ywtg63cgx
本文由 XZ导师app 自动发布 | 发布时间：2026/8/11 23:39:48