一种基于贝叶斯优化的大模型知识蒸馏方法
文档序号：44696315
发布日期：2026-02-24 19:43
阅读：24
来源：国知局
技术简介：
本发明针对代码模型知识蒸馏中超参数依赖经验、效果不稳定的问题，提出基于贝叶斯优化的自动化配置方法。通过构建有效性指示器模型预测蒸馏效果，结合多层级特征蒸馏（嵌入层、Transformer层、预测层）实现教师模型知识的全面迁移，显著提升压缩效率与泛化能
本文转载自：X技术
原文链接：https://www.xjishu.com/zhuanli/55/202511659481.html
本文由 XZ导师app 自动发布 | 发布时间：2026/8/11 23:39:11