一文讲透TinyML知识蒸馏与部署实战
在嵌入式AI开发中，很多人会问：一个模型太大STM32放不下，能不能在板子上蒸馏成小模型？答案是：单片机最终运行的模型可以由蒸馏得到，但蒸馏过程通常不放在单片机上执行。
知识蒸馏中有两个模型。教师模型更深更宽、准确率较高，学生模型则按MCU资源预算设计。训练时同一批数据同时送进教师和学生，教师负责给出输出，学生根据真实标签和教师输出计算损失并更新权重。
教师模型到底多教了什么
普通分类训练只看真实标签，但教师模型能暴露类别之间的关系。比如教师输出静止0.03、走路0.82、跑步0.15，通过温度参数让次要关系更容易被学生看到。
工程实践要点
第一步写板端预算，确定Flash和RAM空间。随后分别训练教师和学生，再进行蒸馏。蒸馏完成后做PTQ或QAT转换为INT8。评估时保留四组结果对比。
关键认识：学生结构决定参数量，数据类型决定存储，蒸馏本身不改变这些数字。工程顺序应当是：先按MCU预算设计学生模型，再在训练端使用教师模型帮助学习，最后完成量化、转换和板端测量。
来源：电子工程专辑 2026-09-17
来源：阅读原文