机器学习笔记(12.2): DFKD – 数据无关知识蒸馏详解
本文详解数据无关知识蒸馏（DFKD）的核心原理与算法流程。DFKD将蒸馏转化为逆向生成问题，通过模拟教师网络的BatchNorm统计量、权重先验等内部信号作为优化目标，训练轻量生成器逼近真实数据分布，再在合成样本上执行标准KD实现知识传递。文章覆盖了生成器初始化、伪数据优化、学生蒸馏三个关键步骤，以及DFKD在LLM框架中面临的模式崩溃、LayerNorm适配等局限。
本文详解数据无关知识蒸馏（DFKD）的核心原理与算法流程。DFKD将蒸馏转化为逆向生成问题，通过模拟教师网络的BatchNorm统计量、权重先验等内部信号作为优化目标，训练轻量生成器逼近真实数据分布，再在合成样本上执行标准KD实现知识传递。文章覆盖了生成器初始化、伪数据优化、学生蒸馏三个关键步骤，以及DFKD在LLM框架中面临的模式崩溃、LayerNorm适配等局限。