知识蒸馏迈入规模化

近期，Multiverse Computing 在 Hugging Face 发布了一篇关于低成本知识蒸馏的实践文章，把一个越来越现实的问题摆到了台面上：知识蒸馏已经不缺成功案例，真正缺的是一套能反复运行、成本可预测、规模扩大后仍然划算的生产流程。

**知识蒸馏是让小型“学生模型”学习大型“教师模型”输出分布或生成行为的模型压缩方法。**它不是从大模型里直接删除参数，而是重新训练一个更小的模型，让学生模仿教师的答案、概率分布、中间表示或推理轨迹。

截至 2026 年 8 月，蒸馏早已不只是 DistilBERT 时代的分类模型压缩技术。它正在被用于代码生成、数学推理、内容审核、请求路由、端侧助手和垂直行业模型，目标也从“模型瘦身”变成了“能力迁移”：把昂贵模型在特定任务上的能力，转移给一个更便宜、更快、更容易私有部署的模型。

但这门生意并不天然便宜。

蒸馏省的是推理费，不一定省训练费

**规模化知识蒸馏是把一次模型实验改造成可持续的数据生产和训练系统。**一次蒸馏跑通，只能说明方法有效；每个月能够按稳定成本更新学生模型，才说明它具备工程价值。

传统叙事通常只计算学生模型的训练成本，却忽略了教师侧的账单。对于生成式大模型，完整蒸馏流程至少包括五类开销：

1. 教师模型生成答案或推理轨迹；
2. 教师模型输出全量 Logits；
3. 蒸馏数据的清洗、过滤与去重；
4. 学生模型的监督微调或分布匹配训练；
5. 失败实验、超参数搜索和数据版本更新。

**教师推理往往才是蒸馏流水线中最容易失控的成本项。**如果教师需要生成长推理链，那么每条样本消耗的输出 Token 可能是最终答案的数倍甚至数十倍；如果还要保留每个 Token 对整个词表的概率分布，存储和数据读取会迅速超过学生训练本身。

一套蒸馏系统的总成本可以粗略拆成：

总成本 = 教师推理成本 + 蒸馏数据存储成本 + 学生训练成本 + 评测成本 + 返工成本

这个公式看起来简单，却改变了优化顺序。团队不应先问“学生模型训练要用多少张 GPU”，而应先问“教师是否需要看完所有样本”“是否必须保存全词表 Logits”“学生究竟需要学习答案，还是学习教师的完整分布”。

全量 Logits 是最隐蔽的存储黑洞

**Logits 是模型在 Softmax 之前对词表中每个 Token 给出的未归一化分数。**与只保存最终答案相比，Logits 包含了教师对其他候选词的相对判断，也就是经典知识蒸馏所说的“暗知识”。

假设教师模型词表大小为 128,000，并以 FP16 保存每个 Token 的完整 Logits，那么单个 Token 就需要：

128,000 × 2 字节 = 256,000 字节，约 250 KB

如果蒸馏语料包含 1 亿个 Token，仅原始 Logits 就约为 25.6 TB，还没有计算索引、元数据、文件格式和副本。训练时读取几十 TB 的稠密数据，也会让存储吞吐和节点间通信成为新瓶颈。

**Top-k Logits 是只保留教师概率最高的 k 个候选 Token 及其分数的稀疏化方案。**以 k=64 为例，若每个候选使用 4 字节 Token ID 和 2 字节 FP16 分数，理论数据量为 384 字节/Token；1 亿 Token 对应约 38.4 GB，比 25.6 TB 减少约 99.85%。

这个数字足以说明，蒸馏能否规模化，有时取决于数据表示，而不是更强的 GPU。

不过，直接截断 Top-k 也会丢失长尾概率。更稳妥的做法是额外保存 Top-k 之外的总概率质量，或者为尾部构造近似分布。对于分类、路由和结构化抽取等低熵任务，较小的 k 通常已经够用；对于创作、代码和多语言生成，候选分布更分散，k 值需要通过消融实验确定。

四种蒸馏路线，成本完全不同

**蒸馏目标决定了教师成本、学生上限和工程复杂度。**团队如果把所有蒸馏方法都理解成“拿大模型生成数据，再微调小模型”，很容易在不必要的地方付出高额成本。

| 蒸馏路线 | 教师提供的信息 | 主要成本 | 优点 | 主要限制 | |---|---|---:|---|---| | 硬标签蒸馏 | 最终答案或类别 | 低 | 数据小、训练简单、教师与学生可使用不同词表 | 丢失候选分布，容易把教师错误当成真值 | | 序列级蒸馏 | 完整生成文本 | 中 | 适合生成任务，容易接入现有微调流程 | 长输出推高教师推理成本，缺少逐 Token 分布信息 | | Logits 蒸馏 | 每个位置的概率分布 | 高 | 能学习教师的相对偏好，信息密度高 | 全量存储昂贵，通常要求词表或 Token 对齐 | | 中间层蒸馏 | 隐藏状态、注意力或特征 | 很高 | 能迁移内部表示，适合结构相近的模型 | 架构耦合强，显存、通信和实现成本最高 |

**硬标签蒸馏适合先验证任务是否值得做。**如果一个 3B 学生模型仅靠高质量教师答案就能接近目标指标，就没有必要一开始保存全量 Logits，更没有必要匹配隐藏层。

**Logits 蒸馏适合教师对相似候选的排序本身有价值的任务。**例如内容审核中，“安全”“轻微风险”“高风险”的相对概率包含了比单一标签更细的决策边界，学生可以从这些软目标中学到更平滑的分类面。

**中间层蒸馏不应成为默认选项。**它看起来信息最丰富，却会把教师和学生的层数、隐藏维度、注意力头以及训练框架绑在一起，降低更换基础模型的灵活性。对于需要频繁升级学生底座的团队，这种耦合可能比多消耗一些训练 Token 更贵。

离线教师比边训练边调用更容易算账

**离线蒸馏是先批量生成并固化教师输出，再独立训练一个或多个学生模型。**它把教师推理与学生训练解耦，便于复用数据、检查质量和控制预算，是规模化场景下更稳妥的默认方案。

**在线蒸馏是在学生训练过程中实时运行教师模型并计算蒸馏损失。**它省去了大规模 Logits 落盘，也能根据学生当前状态动态获取监督，但教师必须长期占用加速卡，任何训练中断或超参数重跑都可能重复支付教师推理成本。

两种模式的取舍，本质上是存储与计算的交换：

| 维度 | 离线蒸馏 | 在线蒸馏 | |---|---|---| | 教师输出 | 预先生成，可重复使用 | 训练时实时计算 | | 存储压力 | 较高，可用 Top-k 和量化缓解 | 较低 | | 重跑学生实验 | 无需再次运行教师 | 通常需要再次运行教师 | | 数据审计 | 容易抽样、过滤和追踪版本 | 较困难 | | 动态调整 | 较弱 | 较强 | | 适用场景 | 稳定任务、多学生复用 | 研究实验、动态课程学习 |

**只要同一批教师数据会被两个以上学生实验复用，离线方案通常就开始显现优势。**它还允许把教师推理放到低峰时段批处理，通过连续批处理、长度分桶和固定最大输出长度提高 GPU 利用率。

真正有效的降本，不是简单减少样本

**教师选择性标注是只让大模型处理最有信息量样本的主动蒸馏策略。**随机抽掉一半数据可能直接损失覆盖度，而优先选择学生不确定、教师与学生分歧较大、或者业务价值较高的样本，通常能以更少教师调用获得更高收益。

一个可执行的选择流程是：

• 先用原始学生模型跑完整候选数据集；
• 根据预测熵、置信度、规则冲突和样本稀有度排序；
• 让教师优先处理高不确定性样本；
• 对重复、模板化和低信息量输入使用规则标签或小模型；
• 每轮训练后重新计算学生薄弱区域，而不是永久固定数据分布。

**课程式蒸馏是按照难度和学生能力分阶段安排教师数据。**先让学生学习短答案、明确指令和高置信度样本，再加入长上下文、复杂推理和边界案例，可以减少早期训练中昂贵数据被浪费的概率。

**教师输出长度是生成式蒸馏最直接的成本旋钮。**如果任务只需要意图分类，就没有必要要求教师解释 500 个 Token；如果学生最终只输出 JSON，也不应默认保存冗长自然语言分析。让教师生成“足够支持学生完成任务的信息”，比无上限地追求完整推理轨迹更符合生产经济性。

这里需要警惕一个误区：更短并不等于只保留答案。对于数学、代码和复杂决策任务，过程监督可能决定学生能否泛化；正确做法是对推理轨迹进行结构化压缩，例如保留关键步骤、约束条件和错误检查，而不是机械删除全部过程。

Tokenizer 不一致会让 Logits 蒸馏失效

**Tokenizer 是把文本切分并映射为模型词表 ID 的组件。**教师与学生如果使用不同词表，同一段文字可能被切成不同数量、不同边界的 Token，教师在某个位置上的概率分布无法直接与学生位置对齐。

这个问题在跨模型家族蒸馏时尤其常见。团队从大型模型迁移到不同架构的小模型时，往往只能选择序列级蒸馏、字符或词语级对齐，或者建立昂贵的词表映射；直接计算逐 Token KL 散度并不成立。

**同词表蒸馏的工程成本通常明显低于跨词表蒸馏。**这也是为什么从同一模型家族中选择教师和学生，常常比理论上挑选“最强教师”更划算：教师能力略低一点，但数据对齐、权重初始化和训练工具链都更简单。

经典软目标蒸馏通常组合真实标签损失和教师分布损失：

L = α × CE(y, pₛ) + β × T² × KL(pₜᵀ ∥ pₛᵀ)

其中，CE 用于保证学生学习真实标签，KL 散度用于匹配教师分布，温度 T 用于平滑概率。温度越高，教师对非首选 Token 的相对偏好越明显，但过高也会让分布接近均匀，增加噪声。

先算盈亏平衡，再决定要不要蒸馏

**蒸馏的商业价值取决于一次性训练投入能否被后续推理节省覆盖。**最简单的判断公式是：

盈亏平衡月数 = 蒸馏总投入 ÷ 每月推理成本节省

假设一次蒸馏数据生产、训练和评测共投入 15,000 美元，部署学生模型后每月只节省 500 美元，那么回收周期是 30 个月。只要任务在此期间发生一次明显漂移，需要重新生成数据和训练，原有账目就可能失效。

**低请求量、需求频繁变化和教师表现不稳定的任务通常不值得蒸馏。**这些场景使用提示优化、检索增强、缓存或直接选择更便宜的通用模型，往往有更低的迭代成本。

**高吞吐、低延迟和强隐私约束仍然是蒸馏最有价值的三个场景。**每月数千万次的内容审核与路由能够摊薄训练成本；需要低于 100 毫秒响应的自动补全和实时交互无法容忍云端网络往返；医疗、金融、工业控制等私有或离线环境，则可能根本不能依赖外部大模型。

| 场景 | 是否适合蒸馏 | 核心原因 | |---|---|---| | 每月数千万次稳定分类请求 | 适合 | 教师成本可被高调用量摊薄 | | 端侧实时助手 | 适合 | 延迟、功耗和离线能力优先 | | 私有网络或气隙环境 | 适合 | 数据不能离开本地环境 | | 每月几百次内部问答 | 通常不适合 | 请求量不足，回收周期过长 | | 需求每季度大改 | 通常不适合 | 数据和学生模型需要反复重训 | | 教师准确率只有 70% | 不应立即蒸馏 | 学生只会继承并放大教师缺陷 |

评测必须同时看质量、成本和尾部风险

**蒸馏评测是对学生模型能力、效率和失效边界的联合验证。**只报告平均准确率，会掩盖学生在少数类别、长上下文和分布外输入上的退化。

一套生产级评测至少应包含：

• 任务质量：准确率、F1、Pass@k、拒答正确率或业务成功率；
• 教师保真度：学生与教师的一致率、KL 散度和排序相关性；
• 系统效率：首 Token 延迟、每秒 Token 数、峰值显存和并发吞吐；
• 成本指标：每百万请求成本、每百万 Token 成本和蒸馏总 GPU 小时；
• 尾部指标：少数类别召回率、P95/P99 延迟、越狱与安全测试；
• 数据指标：教师拒答率、无效输出率、去重比例和高置信错误率。

**每一轮蒸馏都应保留数据、教师、学生和评测集的版本关系。**否则当线上指标下降时，团队无法判断问题来自教师升级、数据漂移、过滤规则变化，还是学生训练配置变化。

规模化的关键，是把教师当成有限预算

**低成本知识蒸馏的核心不是找到一个神奇损失函数，而是减少每一份教师计算的浪费。**Multiverse Computing 此次在 Hugging Face 强调的方向，代表了蒸馏从论文指标走向成本工程的变化：教师输出需要被压缩、缓存和复用，数据需要按价值选择，学生实验需要在不重复运行教师的情况下迭代。

这也是知识蒸馏在 2026 年最值得关注的变化。前沿模型调用价格持续下降后，单纯为了省一点推理费用而蒸馏，未必划算；真正拉开差距的，是小模型能够在本地、边缘和高并发系统中提供前沿模型无法满足的延迟、隐私和成本确定性。

**我们的判断是，蒸馏正在从模型团队的专项实验，变成 AI 基础设施团队的数据供应链。**未来更成熟的系统不会默认让教师处理所有样本，也不会默认保存全量 Logits，而是像管理昂贵标注预算一样管理教师计算：先用学生发现薄弱点，再按需购买教师能力，最后把高价值监督沉淀成可复用资产。

对于准备动手的团队，最稳妥的顺序不是直接上全量 Logits，而是先完成四步：用硬标签建立学生基线，用小规模样本验证教师上限，用 Top-k 或序列蒸馏做成本消融，最后再根据真实吞吐计算盈亏平衡。只有当质量、延迟和回收周期同时过关，知识蒸馏才真正从“模型压缩技巧”变成一门规模化生意。

参考来源

• Making Knowledge Distillation Cheap Enough to Run at Scale：Multiverse Computing 发布的规模化低成本知识蒸馏实践，讨论教师计算、蒸馏数据与训练效率问题。
• DistilBERT 论文页面：经典预训练知识蒸馏工作，以更小模型保留 BERT 的主要语言能力。
• Compact Language Models via Pruning and Knowledge Distillation：介绍将结构化剪枝与知识蒸馏结合，用较少训练 Token 恢复压缩模型能力的方法。
• DeepSeek-R1 模型卡：展示从大型推理模型向多个较小开源模型迁移推理能力的代表性实践。