LLM模型压缩全解：AWQ/GPTQ量化、Wanda剪枝、知识蒸馏理论+完整工业实战
教程系统讲解大模型压缩三大技术路线：AWQ/GPTQ权重量化、Wanda结构化剪枝与知识蒸馏。知识蒸馏部分从Teacher-Student架构讲起，详解软标签、KL散度损失、温度系数T的数学原理，给出Hinton蒸馏损失公式推导与PyTorch完整代码示例，并演示如何把70B教师模型能力迁移到7B学生模型，覆盖数据构造、训练超参与效果评估全流程。
教程系统讲解大模型压缩三大技术路线：AWQ/GPTQ权重量化、Wanda结构化剪枝与知识蒸馏。知识蒸馏部分从Teacher-Student架构讲起，详解软标签、KL散度损失、温度系数T的数学原理，给出Hinton蒸馏损失公式推导与PyTorch完整代码示例，并演示如何把70B教师模型能力迁移到7B学生模型，覆盖数据构造、训练超参与效果评估全流程。