模型剪枝、量化、知识蒸馏核心区别

三者都属于模型轻量化 / 压缩加速技术目标都是减小体积、降低算力、提升推理速度、适配边缘设备但底层原理、作用对象、优缺点完全不同。一、核心定义与本质区别1. 模型剪枝Pruning核心逻辑删掉没用的参数 / 权重神经网络存在大量接近 0、对预测无贡献的权重直接剔除。操作对象网络权重、通道、神经元、层思路筛选冗余参数 → 删除 → 微调恢复精度分类权重剪枝删掉单个小权重稀疏网络通道剪枝整段卷积通道删除硬件友好工业最常用效果减小参数量、降低计算量 FLOPs2. 量化Quantization核心逻辑降低数值存储精度原始模型用 32 位浮点数FP32转成 16 位 (FP16)/8 位整数 (INT8)/4 位 (INT4) 存储计算。操作对象权重、激活值的数值精度思路浮点映射到低比特整数减少每位占用空间分类训练后量化 PTQ、量化感知训练 QAT效果缩小模型文件体积、加速硬件计算、降低显存占用3. 知识蒸馏Knowledge Distillation核心逻辑大模型 “教” 小模型大高精度教师模型输出软标签指导小型学生模型学习分布不是单纯压缩权重。操作对象模型输出概率分布知识思路大模型教师提取特征知识 → 小模型学生拟合变体自蒸馏、多教师蒸馏、特征蒸馏效果用小模型达到接近大模型精度侧重提升小模型性能二、关键维度对比表表格对比维度剪枝量化知识蒸馏核心原理删除冗余参数压缩数值比特位大模型迁移知识给小模型优化目标减少参数、减少计算量降低存储、硬件加速提升小模型预测精度模型大小影响显著减少参数量同等结构下体积减半 / 3/4 倍模型结构不变仅提升精度不压缩体积硬件适配通道剪枝友好权重剪枝需稀疏加速库所有芯片通用NPU/GPU/ 单片机无硬件依赖纯算法优化精度损失轻微微调可恢复INT8 损失极小低比特损失大大概率涨精度几乎无损失能否单独使用可以可以可以常搭配前两者典型适用场景大模型通道冗余严重边缘端、嵌入式低算力设备小模型精度不足、毕设提升指标三、优缺点剪枝优点大幅降低 FLOPs推理更快通道剪枝无稀疏开销 缺点权重剪枝稀疏结构普通 GPU 加速弱复杂网络微调成本高量化优点落地最简单工业标配推理延迟大幅下降内存占用低 缺点4bit 及以下低比特容易掉精度需 QAT 训练补偿知识蒸馏优点低成本涨点不改变模型结构可和剪枝、量化叠加使用 缺点不能压缩模型大小只优化精度需要训练大教师模型四、工程落地组合方案光伏 / 时序 / 视觉通用最优流水线知识蒸馏 → 通道剪枝 → 量化逻辑先用大模型蒸馏拉高小模型基础精度 → 剪去冗余通道减计算 → INT8 量化部署到边缘设备单独使用场景只需要提速、不改精度量化模型参数过于庞大剪枝小模型预测误差大、指标低知识蒸馏五、一句话极简区分剪枝删多余权重变少、算得快量化数字少占内存存得小、跑更快蒸馏大师教小学生小模型变准不缩小体积