模型蒸馏全攻略 小模型如何从大模型偷师 开发者省钱实战
知识蒸馏教程：知识蒸馏使用大模型教师指导小模型学生学习。教师模型输出包含比硬标签更丰富的信息——不仅知道正确答案还知道错误答案的相对概率分布。开发者省钱三步走：第一步用大模型生成训练数据，第二步微调一个小模型，第三步部署上线。CANN模型压缩实战覆盖剪枝量化与知识蒸馏。温度T参数控制软目标分布。
原文链接：https://blog.csdn.net/metaviii/article/details/159655753
模型蒸馏全攻略 小模型如何从大模型偷师 开发者省钱实战
知识蒸馏教程：知识蒸馏使用大模型教师指导小模型学生学习。教师模型输出包含比硬标签更丰富的信息——不仅知道正确答案还知道错误答案的相对概率分布。开发者省钱三步走：第一步用大模型生成训练数据，第二步微调一个小模型，第三步部署上线。CANN模型压缩实战覆盖剪枝量化与知识蒸馏。温度T参数控制软目标分布。
原文链接：https://blog.csdn.net/metaviii/article/details/159655753