跳转到内容

蒸馏

来自VeritasWiki 真理百科

蒸馏在机器学习语境中指知识蒸馏(knowledge distillation),即把一个或多个大型、复杂模型(教师,teacher)所学到的行为与知识迁移到一个规模更小、更易于部署的模型(学生,student)中的一类方法。其核心不在于压缩参数文件本身,而在于让学生模型模仿教师模型的输出分布乃至中间表示,从而以较低的计算与存储成本获得接近教师的性能。该术语由杰弗里·辛顿(Geoffrey Hinton)、奥里奥尔·维尼亚尔斯(Oriol Vinyals)与杰夫·迪恩(Jeff Dean)在2015年3月9日提交的技术报告《Distilling the Knowledge in a Neural Network》中给出清晰表述与命名,此后成为模型压缩与部署的通用手段之一。需要注意的是,机器学习中的"蒸馏"与化学工程中利用沸点差异分离混合物的单元操作"蒸馏"并无技术关联,前者是比喻性的借词,强调的是从庞大模型中"提炼"出可迁移的精华。

概念与内涵

知识蒸馏的出发点是一种在训练与部署之间普遍存在的错位。训练阶段可以负担代价高昂的模型:由多个网络组成的集成(ensemble),或经过长时间训练、施加 dropout 等强正则化的超大网络,往往具有更好的泛化能力;而部署阶段受制于延迟、内存、能耗与单次请求成本,只能运行规模较小的模型。论文以昆虫的幼虫与成虫作比:取食与迁徙、繁殖对形态提出不同要求,因此同一生物在不同阶段采取不同形态,训练模型与部署模型同样不必同形。

由此,蒸馏把"知识"的含义从参数与单一答案扩展到模型输出的完整概率分布。一个训练好的分类器面对一张手写数字图像,除了给出最可能的类别,还会对其余类别赋予大小不等的概率;这些"错误答案"的相对大小编码了类别之间的相似关系。论文把这类信息称为"暗知识"(dark knowledge),并认为它比独热标签(one-hot label)携带更多信息,是蒸馏得以生效的关键。

技术原理

标准的响应型蒸馏使用一个经过温度提升(temperature raising)的 softmax 函数。设教师模型对第 i 类的logit为 z_i,则软化后的概率为 q_i = exp(z_i / T) / Σ_j exp(z_j / T),其中 T 为温度参数。当 T = 1 时分布尖锐,错误类别的概率接近零,难以为训练提供有效梯度;提高 T 会使概率分布变得平缓,把类别之间的相对相似性"拉开",使学生能够学习。学生在同一高温下接受训练,推理时则把温度恢复为 1。

训练目标通常由两项加权构成:软目标项让学生的高温软分布与教师的高温软分布之间的交叉熵尽量小,硬目标项则让学生保持对真实标签的拟合,防止其完全跟随教师的偏差。由于软化会使梯度量级随温度变化,软目标项常乘以 T 的平方以平衡两项梯度的尺度。论文还证明,在高温且 logit 近似零均值的极限条件下,匹配软目标退化为直接匹配 logit,从而与更早的 logit 匹配方法建立了联系。

温度的选择直接影响效果:过低则软信号被淹没,过高则各类别趋于等概率、丧失区分度,实践中常以 2 至 10 作为起点区间。论文给出的经验证据包括:在 MNIST 上,一个经 dropout 正则化的大网络测试错误数为 67,普通训练的小网络为 146,而用教师软目标训练的同规模小网络降至 74;若从迁移集中完全去掉数字 3 的样本,经偏置校正后学生仍能正确识别 98.6% 的测试 3。在安卓语音搜索的声学模型上,十个模型集成把帧准确率从 58.9% 提升到 61.1%,而单个蒸馏模型达到 60.8%,词错误率与集成相当;仅用 3% 训练数据时,软目标达到 57.0% 的帧准确率,而硬标签为 44.5%,且未出现过拟合,显示软目标具有较强的正则化作用。

主要方法变体

按迁移信息的层次,蒸馏大致可分为三类:响应型(response-based)只匹配输出层的概率或 logit,实现简单、应用最广;特征型(feature-based)额外匹配中间层的特征表示,试图传递教师"如何看待输入"的过程;关系型(relation-based)则匹配样本之间或特征通道之间的关系结构。按训练组织方式,又可分为离线蒸馏(教师预先训练好并固定)、在线蒸馏(教师与学生共同训练)与自蒸馏(self-distillation,模型蒸馏自身)。

论文本身还提出过"专家模型"(specialist models)思路:在通用模型之外,为容易混淆的类别子集分别训练专家子网络,以较短时间并行训练,在谷歌内部一个约一万五千类的大规模图像数据集上做了验证,这一思路被视为后来混合专家(mixture of experts)方法的先声。从思想源流看,蒸馏承接了集成学习关于"平均多个模型可提升泛化"的结论,也承接了布西拉(Cristian Buciluă)、卡鲁阿纳(Rich Caruana)与尼库列斯库-米齐尔(Alexandru Niculescu-Mizil)2006年发表的模型压缩(Model Compression)工作;Hinton 等人的贡献在于给出温度软化这一一般化训练规则与清晰的解释框架。

与大语言模型的结合

在大语言模型时代,蒸馏的含义发生了重要扩展。除了在预训练阶段匹配教师的词表概率分布,更常见的做法是使用教师模型生成的文本作为监督数据训练学生,即序列级蒸馏(sequence-level distillation)或"合成数据监督"。这与2015年逐 token 匹配软概率的做法有显著差别:前者更接近在教师产出的数据上做监督微调,后者则直接传递概率结构。

一个被广泛引用的早期案例是 DistilBERT。Sanh 等人2019年的工作把知识蒸馏引入预训练阶段,以语言建模损失、蒸馏损失与余弦距离损失组成的三重损失训练较小的通用语言表示模型,在体积缩小 40%、推理速度提升 60% 的同时保留了 BERT 约 97% 的语言理解能力,并验证了其在端侧计算中的可行性。

推理模型兴起后,蒸馏被用于迁移链式思维(chain-of-thought)能力。深度求索(DeepSeek)团队2025年1月发布的技术报告记录了 DeepSeek-R1 的实践:在通过纯强化学习激励出大模型的自我反思、验证与动态策略调整等推理模式之后,团队用 R1 精选的约 80 万条样本,对基于 Qwen 与 Llama 系列、参数量覆盖 15 亿至 700 亿的六个小模型进行监督微调,且明确不对这些蒸馏模型再施加强化学习阶段。技术报告给出的成绩包括:R1-Distill-Qwen-7B 在 AIME 2024 上取得 55.5、在 MATH-500 上取得 92.8;R1-Distill-Qwen-32B 在 AIME 2024 上取得 72.6,而同等规模、仅用强化学习训练的模型为 47.0。这一结果被解读为:对小模型而言,直接蒸馏强推理者的行为模式,比让其自行摸索推理更为有效。相关的模型许可也明确允许使用其输出训练其他模型,反映出蒸馏在开放权重生态中的常规地位。

应用与影响

蒸馏已成为把昂贵模型能力部署到受限环境的标准工具之一。在视觉领域,它常用于把图像分类、检测模型的集成收益压缩进单一网络;在自然语言处理领域,从 BERT 时代的紧凑模型到如今的轻量级对话模型,蒸馏与量化、剪枝并列为三大压缩路线。在资源受限的设备端、实时服务与高并发 API 场景中,蒸馏直接影响延迟与单位请求成本,因而具有重要的工程价值。

它也改变了能力转移的组织方式:模型提供者通常同时发布旗舰版与轻量版,后者被广泛认为经由蒸馏得到;而不少服务条款禁止用户用模型输出训练竞争性模型,从反面印证了蒸馏的有效性与商业敏感性。对研究者而言,蒸馏还被用于可控实验——通过比较同一教师在不同学生容量下的迁移效果,考察能力与参数规模之间的关系。

局限与争议

蒸馏的局限首先来自师生容量差距。学生受自身架构容量与基座预训练质量的约束,无法简单复制教师在其预训练阶段吸收的全部知识;同一批训练样本在不同规模学生上的表现差异明显,实践中常借助中间规模的"教师助手"缓解容量落差。其次,蒸馏传递的主要是行为模式而非知识总量:它能较高效地传递"如何推理、如何组织答案",但教师的广泛事实性知识不会随有限样本自动进入学生,因此数学与代码推理能力突出并不等于学生复刻了教师的全部知识面。

再次,蒸馏会继承教师的缺陷。学生在模仿过程中也复制了教师的错误与偏见,在被蒸馏的任务上通常难以超越教师,这与"青出于蓝"的直觉相悖。在序列级蒸馏中,若大量使用模型生成内容作为训练数据,还会引发关于模型崩溃(model collapse)与合成数据质量的讨论:数据分布逐代收窄、错误被放大等问题需要通过数据源多样性与质量筛选来缓解。最后是合规层面:使用闭源模型输出训练其他模型可能违反服务条款,使用开源权重模型也需核对其许可条款。这些约束决定了蒸馏并非万能的"点石成金",其成效取决于师生搭配、数据质量与制度环境的共同作用。

参见

  • 模型压缩
  • 量化(机器学习)
  • 知识图谱
  • 大语言模型
  • 链式思维
  • 机器学习

参考资料

  1. Hinton, G., Vinyals, O., Dean, J. Distilling the Knowledge in a Neural Network. arXiv, 2015-03-09.
  2. Sanh, V., Debut, L., Chaumond, J., Wolf, T. DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. arXiv, 2019-10-02.
  3. DeepSeek-AI. DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv / Nature, 2025-01-22.