大模型精准反哺小模型 知识蒸馏助力提高AI算法性能
知识蒸馏是将大型复杂模型的知识迁移到小型模型中的技术。智算网络联盟发文介绍，大模型虽然性能强大但部署成本高，通过知识蒸馏可以将大模型的软标签、特征表示和决策逻辑传递给小模型，在保持较低推理成本的同时显著提升小模型性能。该方法在边缘计算、移动部署等场景尤为重要，是当前AI工程化的关键技术之一。
原文链接：http://zslm.openi.org.cn/index.php?m=content&c=index&a=show&catid=14&id=220