模型蒸馏是一种知识转移技术，其核心过程可以分为三个阶段（图1）：
关键技术要素：
软标签：通过温度系数（温度缩放）调整输出概率分布的平滑度，并转移类别和特征匹配之间的关系（功能匹配）：强制学生模型的中间层特征与教师模型的关系蒸馏一致：捕获语义相关模式损失函数之间的损失：l_ {total}=\\ alpha}=\\ alpha \\ cd cd cd cd cd \\ cd cd cd cd + cd cd cd cd + cd cd cd cd + cd cd sesc} l_ {Distill}其中l_ {Distill}经常使用KL Divergence来测量输出分布差异的典型压缩效果：
型号类型
参数压缩比
推理速度提高
精确损失
BERTDISTILBERT
40
60
3
GPT-3Tinybert
90
300
5-8
2.2模型量化的定义和实施机制
模型量化通过数值表示优化实现模型压缩，其技术路径可以分为（图2）：
核心方法：
量化粒度选择层的层次在通道的杂种精度量化函数类型q（x）=\\ text {round} \\ left（\\ frac {x – \\ beta} {s} {s} {s} \\ right）\\ cdot s + beta s，其中s是缩放因子，\\ beta是典型的压缩效应。
定量解决方案
存储压缩比
计算加速度比率
精确损失
FP32INT8
4x
2-3x
1-5
FP32INT4
8x
4-6x
5-15
2.3核心差异的比较（表1）
方面
型号蒸馏
模型量化
压缩对象
模型架构和知识表达
数值表示精度
核心手段
知识转移和特征模仿
数值范围映射和降低位宽度
培训依赖
学生模型需要重新训练
可以直接应用于训练有素的模型
硬件适应性
一般计算体系结构
依靠特定的硬件加速说明集
准确性保留能力
可能超出了教师模型
必须有量化错误
典型的压缩比
2-10x
4-16X
3. 技术实现流程与工具链
3.1模型蒸馏的完整实施过程
3.1.1典型的工作流分解
阶段1：教师模型配置
预处理的模型加载：从变形金刚导入AutomodeForSequenceceCecrificationTeacher=automodeForSequerSececeCecrification.from_pretrated（\’bert-base-unced\’）知识提取模式选择：输出层蒸馏（logits Transfers）
中层蒸馏（隐藏状态匹配）
注意对准
第2阶段：学生模型设计
设计维度典型选项架构类型浅网络，修剪架构，矩阵分解参数初始化随机初始化，教师参数继承，转移学习层相应的策略和其他比例减少，跨层跳跃连接阶段3：联合培训实施
pytorch pseudocode示例温度=4.0alpha=0.7dataLoAder: conthloder_logits=老师（batch.inputs）student_logits=student=student（batch.inputs）计算蒸馏损失soft_targets=f.soft_logogogits=fercoft_logogits=-1 dimportut-dimportut-dimportut=dimportut-dimportut-dimpofuts= – f.log_softmax（student_logits /温度，dim=-1）distill_loss=f.kl_div（soft_outputs，soft_targets，soft_targets，reduction=\’batchmean\’）计算任务损失task task_loss=f.cross_entropy（cross_entropy（student_logits，student_lagits，batch.labels ytive_labs_ tirper_ tirper_labels ytermization alterialdiral=altha） * task_losstotal_loss.backward（）optimizer.step（）3.1.2主流工具框架的比较
框架名称
核心优势
适用的方案
拥抱面
变形金刚库本地支持蒸馏
NLP字段的整个过程
mmdetection
特殊蒸馏工具套件用于目标检测
计算机视觉任务
蒸馏器
英特尔优化企业级解决方案
生产环境部署
Tinyml
边缘设备轻量级解决方案
物联网/移动应用程序
3.2模型量化的核心技术路径
3.2.1定量技术分类系统
3.2.2 PTQ标准过程（以Tensorrt为例）
模型转换：TRTEXEC -ONNX=MODEL.ONNX -saveEngine=Model.plan-int8-Calib=高速缓存校准集选择：500-1000代表样本涵盖所有输入模式和场景校准算法选择：算法类型适用于SENAROISE SENARIOS适用于SENAROISE SENAROISE一般场景（默认情况）（默认情况）（默认情况下）（默认型号）（默认情况下）分配分配分布分布单独的单位分布单独使用。百分位数的数据分布较高
准确性验证：
tensorrt推理用trt.runtime（trt_logger）作为runtime:Engine=runtime.deserialize_cuda_engine（plan）输入，输出=Allocate_Buffers（Engine）do_inference（do_inference）do_inference（）量化模型（nn.module）: def __init __（self，fp32_model）: super（）。 self.quant（x）x=self.model（x）返回self.dequant（x）准备阶段qat_model=量化model（oilter_model）qat_model.qconfig=torch.quantization.quantization.get_def_def_def_qat_qat_qat_qconfig（\’fbgemm\’ trib_loader:Output=qat_model（data）损失=标准（output，label）lose.backward（）optimizer.step（）转换级finas final_model=torch.quantization.quantization.convert.convert.convert（qat_model）
表4.1 Bert系列模型的压缩效应的比较
模型名称
参数数量
存储大小
CPU延迟
GPU延迟
准确性（胶）
伯特基
110m
420MB
380ms
45ms
88.5
Distilbert
66m
250MB
220ms
28ms
86.9（-1.6）
Quant-Bert（INT8）
110m
105MB
150ms
18ms
87.2（-1.3）
Qat-Distilbert
66m
82MB
95ms
12ms
85.4（-3.1）
图4.1比较视觉模型压缩效应
RESNET-50不同的压缩策略效果雷达图（5分制）
压缩比推理速度准确维护硬件支持
4.2准确性损失分析框架
结构误差（不可逆损失）模型容量降低（蒸馏）参数表达精度损失（量化）训练误差（优化损失）知识传递效率不足以定量间隔校准偏差4.2.2误差补偿技术
技术手段
适用的方案
效应改进范围
渐进的冻结
大型蒸馏
1-3
自适应温度调节
多任务学习方案
0.5-2
混合精度再训练
定量模型微调
2-5
动态范围补偿
非对称数据分布
1.5-4
4.3跨硬件平台性能比较
表4.2不同的硬件加速效果
硬件平台
FP32基准
INT8加速度比率
INT4加速度比
提高能效比
NVIDIA T4
1倍
3.2x
6.1x
5.8倍
英特尔Xeon 6248
1倍
2.1倍
N/A。
3.3倍
高通855
1倍
4.7倍
9.3x
8.6倍
Hisilicon 310
1倍
3.9倍
7.2倍
6.9倍
图4.2终端设备的延迟分布
分析智能手机推断延迟的组成（单位：MS）
成分
fp32
INT8
优化方向
数据预处理
8.2
8.1
并行化
模型推理
62.4
14.7
操作员融合
后处理
5.3
5.2
内存重复使用
4. 压缩效果与性能指标
5.1蒸馏的典型应用领域（图3）
行业案例：
DeepSeek-R1蒸馏模型：在边缘设备上实施复杂的数学推理，100msdistilbert的延迟：移动情感分析任务，记忆使用量减少到300MB5.2定量部署方案适应
硬件平台
适用的定量解决方案
典型的加速芯片
移动SOC
INT8混合量化
高通六边形NPU
边缘计算模块
FP16+INT8分级量化
NVIDIA JETSON NANO
云推理卡
TF32+INT4动态量化
NVIDIA T4/TensorCore
5. 应用场景与行业实践
6.1定量感知蒸馏（QAD）
通过联合优化框架（图4）：
定量感知蒸馏框架教师=load_pretratained_model（）student=create_quantizable_model（）用于数据dataloader:的数据，带有torch.no_grad（）: T_LOGITS : T_LOGITS，T_FEATURES，T_FEATURES，T_FEATURES，T_LOGITS=（DATA）S_LOGITS，S_LOGITS，S_FEAGITS，S_FEATUITS，S_FEATURIT=SENIT=SELIT（s_features）量化（s_logits）关节损失计算损耗= * task_loss（s_logits，labels） + \\ * kl_div（s_logits，t_logits，t_logits） + \\ * mse（s_features，s_features，t_features，t_features）loss.backward.backward.backward（学生）更新（学生）最新结果：
DQ-BART模型：结合蒸馏和INT8量化，模型尺寸压缩为16.5倍，BLEU损失为2ZeroQuant-LKD：层间知识蒸馏+混合精度量化，实现INT4/INT8混合部署
6. 前沿融合技术与研究进展
根据Expractions Depplionments要求（图5）（图5）：
用户评论
发呆
这篇博文写的真细致！对模型蒸馏和模型量化都做了深入浅出地讲解，我以前对这两个概念只是皮毛了解，看完后感觉收获满满。特别是最后分享的那些前沿研究，真的让我眼前一亮!
有5位网友表示赞同！
执笔画眉
模型蒸馏和量化的应用确实越来越广泛了，现在很多公司都在尝试用这些方法来优化他们的模型。希望这篇文章能帮助更多人了解这两方面的知识！
有5位网友表示赞同！
一笑傾城゛
我一直觉得模型压缩这个方向很重要，毕竟模型越大训练成本就越高，太大了部署起来也麻烦。蒸馏和量化都是非常好的解决方案，期待未来看到更多更进取的方案!
有18位网友表示赞同！
冷嘲热讽i
感觉模型蒸馏就是让小模型来学习大模型的知识吧？这样可以提高效率啊！不过我有点 confused 模型量化是把参数变成什么的数据类型了？这个具体实现像怎么操作的？能讲详细一点吗？
有5位网友表示赞同！
猫腻
这篇博文太适合用来入门了，解释的很清楚，而且图文并茂，很帮助理解。之前没接触过这两个概念的我终于明白了！但希望能再补充一些具体的例子和应用场景，这样更直观一些。
有10位网友表示赞同！
浅巷°
模型蒸馏的原理我觉得还是挺清晰的，就是用大模型作为老师，小模型作为学生，学习他们的知识。但是量化部分有点复杂，我还是想深入了解一下它的具体操作方式！
有18位网友表示赞同！
把孤独喂饱
这个博文写得真好！特别是对应用场景的描述，让我感觉这两个方法真的是非常强大的工具，可以提升很多东西。我现在更想去尝试实现这些方法了!
有11位网友表示赞同！
仅有的余温
我觉得模型蒸馏这种方法很有前景，特别适合在资源有限的环境下使用。但我对于量化的效果还有点保留态度，毕竟精度损失这个问题还是很重要吧？
有7位网友表示赞同！
苍白的笑〃
虽然模型蒸馏和量化都能有效压缩模型大小，但我觉得二者的应用场景还是有所区别的。这篇博文讲解很到位，帮我更深入地理解了这两者的异同之处。
有13位网友表示赞同！
海盟山誓总是赊
我一直对这个方向的研究很有兴趣，因为我个人认为模型压缩是未来深度学习发展的重要趋势。这篇文章让我对模型蒸馏和量化有了更全面的了解，期待看到更多未来的进展！
有10位网友表示赞同！
_心抽搐到严重畸形っ°
我对模型蒸馏的原理比较理解，但对于量化的方式不是很清楚。感觉有些地方描述还是不够详细，希望能补充一些具体的实现方法或者代码示例。
有7位网友表示赞同！
七级床震
说实话，这篇博文对我来说有点难度，我理解了模型蒸馏的部分，但是模型量化的部分就感觉不太懂了。或许可以简单一点的解释一下量化过程，方便小白更好地理解？
有11位网友表示赞同！
话少情在
我觉得这篇文章的优势在于对各种不同方法和技术的比较，能够帮助读者深入了解模型蒸馏和模型量化的发展趋势。但个人觉得文章中应用实例可以再多一些，更加具体直观地展示这些技术在实践中的效果。
有8位网友表示赞同！
金橙橙。-
这篇博文写的非常棒！不仅讲解了模型蒸馏和量化，还介绍了最新的研究成果，让我对这两项技术有了更深入的了解。我已经迫不及待想尝试一下这些方法了!
有14位网友表示赞同！
清原
我之前比较关注模型蒸馏这一方向，因为感觉它在实际应用中很有潜力。这篇文章很好的梳理了模型蒸馏和模型量化的原理和区别，也让我对最新研究有了更全面的了解。
有18位网友表示赞同！
风中摇曳着长发
文章写的很好，解释清晰，图表也很美观！对新手来说，这篇博文能提供非常好的学习资源。希望以后还能看到更多关于模型压缩技术的深入探讨！
有10位网友表示赞同！
陌上花
我觉得模型蒸馏和量化都很有前景，特别是对于那些需要部署在移动设备或嵌入式系统的场景来说更重要。这篇文章很好的展现了这些技术的发展历程和未来趋势，让我对这个方向更加感兴趣！
有16位网友表示赞同！