知识蒸馏（Knowledge Distillation）是2015年Hinton在论文中率先提出的概念：先训练出一个大而强的教师模型，然后将其包含的知识转移给小的学生模型，实现保持小模型较快推理速度的同时，达到和大模型相当或接近的效果。
核心原理
知识传递的核心是软化标签。教师模型输出的概率分布（含类别间关联信息）比硬标签（仅正确类别为1）更具指导价值。学生模型通过模仿教师模型的输出，同时拟合原始数据标签，实现知识的提炼与压缩。
温度系数的作用
在logits过softmax函数前除以温度T。温度越高，分布越软，越能暴露出教师的不确定性和各选项之间的关系。学生学到的不只是正确答案，还有教师有多确信以及还考虑过哪些选项。通常T=3-5。
损失函数设计
L = alpha * CrossEntropy(student_output, hard_labels) + beta * KL_Divergence(student_soft_output, teacher_soft_output)。学生同时优化两个目标：答对（硬标签）和模仿教师的思路（软标签）。
YOLO26知识蒸馏实战
Ultralytics在YOLO中原生集成知识蒸馏功能，通过distill_model参数指定教师模型即可启用。一行代码启用：model.train(data=’coco8.yaml’, epochs=100, distill_model=’yolo26s.pt’)。训练开销：速度降低1.2-1.5倍，显存增加约10%。推理零成本：导出模型仅含学生权重。
开发者实战流程
第一步用大模型生成训练数据，第二步微调小模型，第三步部署上线。成本降低10-60倍，性能保留80-95%。
原文链接：http://zslm.openi.org.cn/index.php?m=content&c=index&a=show&catid=14&id=220