知识蒸馏全解析：如何让小模型获得大模型的智慧
最新推荐文章于 2026-06-26 01:00:00 发布
原创 于 2026-05-21 10:21:47 发布 · 626 阅读
文章目录
一、核心思想：从“结果”学习到“思维”学习
1.1 传统训练 vs 知识蒸馏
二、核心机制：软标签与温度调节
2.1 知识载体：软标签
2.2 知识调节器：温度参数T
三、算法流程与数值实例
3.1 场景设定
本文转载自：CSDN博客
原文链接：https://blog.csdn.net/dongke1991/article/details/161274490
本文由 XZ导师app 自动发布 | 发布时间：2026/8/11 23:39:41