🫗 知识蒸馏
2025-12-18 486 发布于广东
Jokerw
简介： 知识蒸馏是一种模型压缩技术，通过将大模型（教师）的知识迁移到小模型（学生）中，实现高效推理与良好性能的平衡。核心思想是利用教师模型的输出概率分布（软标签）指导学生模型训练，结合温度机制平滑分布，保留类别间关联信息。常用KL散度衡量软标签差异，并融合硬标签损失提升泛化能力。可分为黑盒（仅用输出）与白盒（用中间特征）蒸馏，
本文转载自：阿里云开发者社区
原文链接：https://developer.aliyun.com/article/1694350
本文由 XZ导师app 自动发布 | 发布时间：2026/8/11 23:38:55