Multiverse Computing 提出的 Quantization-Aware Healing，让4-bit压缩模型在部分基准任务上超过原始全精度模型。它说明量化不只是压缩手段，也可能成为一次针对模型误差的再优化。

4-bit模型为何能反超全精度

截至 2026 年 8 月 25 日，模型量化正在从“尽量少掉点分”进入“压缩后还能涨分”的阶段。Multiverse Computing 在 Hugging Face 发布的文章中介绍了 Quantization-Aware Healing，一种面向压缩模型的恢复方法：模型被压到 4-bit 后，不仅保住了原有能力，还在部分评测任务上超过了未经压缩的全精度原模型。

这件事的价值，不在于又出现了一个新的量化格式，而在于它改变了开发者对量化的基本预期。过去，量化通常意味着用更小的模型换取更低的显存和更高的吞吐，同时接受一定精度损失；Quantization-Aware Healing 则试图把量化误差变成训练信号，让模型在低精度约束下重新调整参数。压缩不再只是“把数字装进更小的盒子”，而是给模型安排了一次针对部署环境的再训练。

全精度模型、普通4-bit量化模型与Quantization-Aware Healing模型的精度和显存占用对比示意图

量化本来是一笔很划算、但并不免费的交易

模型量化是将高精度浮点权重和激活值转换为低比特数值表示的压缩技术。它不改变模型层数和参数数量，主要通过减少每个参数占用的位数，降低显存、内存带宽和计算开销。

以 FP16 权重转换为 4-bit 权重为例，理论上的权重存储量可以从每个参数 16 bit 降至 4 bit，减少 75%。一个 70B 参数模型，如果只计算原始权重，FP16 大约需要 140GB 存储空间，4-bit 表示则约为 35GB；实际部署还要考虑缩放因子、分组元数据、KV Cache、运行时缓冲区和框架开销，因此最终显存需求不会恰好等于这个数字，但差距依然足以决定模型能否放进单机或单卡。

量化的代价来自数值范围被压缩。FP16 能表达更宽的动态范围，而 4-bit 只能容纳非常有限的离散值。对一个权重张量进行量化，本质上是把连续的浮点数映射到少量格点上。权重落在两个格点之间时必须舍入，极端值还可能挤压其他权重可使用的表示空间。

这种误差并不会平均地影响所有层。某些层对异常值、激活分布或跨模态对齐尤其敏感，少量关键权重被错误舍入，就可能导致数学推理、长文本理解、图表识别或代码生成出现明显退化。因此，“4-bit模型精度损失通常很小”只能作为经验判断，不能替代具体模型和具体任务上的验证。

PTQ、QAT与QAD，差别在于模型有没有机会适应低精度

训练后量化（PTQ）是模型训练完成后再进行压缩的方法。它通常只需要一批校准数据，用于估计权重和激活值的分布，然后确定缩放因子、截断范围和分组方式。PTQ成本低、速度快，适合已经训练完成、又希望快速部署的模型，但它没有真正改变模型参数来适应量化误差。

量化感知训练（QAT）是在训练或微调过程中模拟推理阶段的低精度计算。模型前向传播使用“假量化”模块，把权重和激活值先量化再反量化；反向传播通常仍保留高精度梯度。这样一来，模型在训练期间就能感知到部署时会遇到的舍入和截断误差，并主动调整参数。

量化感知蒸馏（QAD）是把 QAT 与教师模型蒸馏结合起来的方法。学生模型在低精度环境中运行，教师模型则保持全精度，学生不仅要完成任务，还要尽量逼近教师模型的输出分布。对于低比特模型而言，这相当于在训练时同时得到两种反馈：一部分来自真实标签，另一部分来自全精度教师模型的“参考答案”。

Quantization-Aware Healing 可以理解为一种更强调“恢复”的量化后优化流程。它不是简单地把模型重新训练一遍，而是围绕量化造成的误差定位和修正，把低精度推理行为纳入优化目标。模型结构没有增加，推理时也不需要恢复到 FP16；改变的是压缩过程中及压缩后的参数状态。

| 方法 | 发生时间 | 是否修改模型参数 | 主要优势 | 主要限制 | | --- | --- | --- | --- | --- | | PTQ | 训练完成后 | 通常不做或只做少量调整 | 成本最低，部署最快 | 极低比特下容易掉点 | | QAT | 训练或微调阶段 | 会修改参数 | 能适应目标量化格式 | 需要训练资源和数据 | | QAD | 量化感知训练阶段 | 会修改参数，并参考教师模型 | 恢复精度能力更强 | 训练流程更复杂 | | Quantization-Aware Healing | 压缩后或压缩相关优化阶段 | 针对量化误差进行再优化 | 目标是让压缩模型重新获得甚至超过原模型表现 | 效果依赖数据、任务和超参数 |

为什么低精度模型有机会超过原始模型

4-bit模型反超全精度模型，并不意味着 4-bit 数值表示在数学上比 FP16 更精确。更准确的解释是：全精度原模型通常是一个通用模型，而经过 Healing 的模型已经针对评测任务、校准数据和部署约束做过额外优化，两者并不是完全公平的同条件比较。

第一个原因是量化过程本身提供了正则化效果。正则化是通过限制模型自由度，减少其对训练样本中过细噪声的依赖。低比特权重无法保留所有微小变化，模型被迫把能力集中到更稳定、更重要的表示上。在部分任务中，这种约束反而可能降低过拟合，使结果出现小幅提升。

第二个原因是 Healing 修正了原模型中并不理想的参数区域。全精度只说明参数使用了更高精度存储，并不保证模型已经在目标硬件、目标批大小和目标任务上达到最优。经过教师指导和量化感知优化后，学生模型可能在任务相关数据上形成更适合部署的权重分布。

第三个原因是评测数据与优化数据存在关系。如果恢复阶段使用了与基准任务相近的数据，模型在该基准上的成绩提高并不奇怪，但这不能自动推导出通用能力全面增强。真正有说服力的结论，应当来自未参与优化的数据、不同领域任务以及长上下文和真实业务流量测试。

所以，“反超全精度”应当被理解为一个有条件的工程结果，而不是低精度天然优于高精度。它证明的是：在合理的训练和校准流程下，量化误差并非只能被动接受。

4-bit不是一个统一规格

4-bit只是位宽，不是完整的数值格式。相同的 4-bit 名称，可能对应整数格式、浮点格式、不同分组大小、不同缩放策略和不同硬件实现，实际效果可以相差很大。

整数型 INT4 通常需要额外的缩放因子把浮点范围映射到有限整数格点。浮点型 FP4 则通过指数和尾数的组合表达数值，但可表示范围与精度分布不同。对于大语言模型中的权重和激活值，哪一种格式更好，取决于数据分布、异常值数量、矩阵乘法内核以及硬件是否原生支持。

分组大小也非常关键。较大的分组可以减少缩放元数据，降低存储开销，但同一组内如果同时出现普通值和异常值，就更难找到合适的缩放范围。较小的分组可以更细致地适配局部数值分布，代价是元数据增加、实现复杂度提高。

这也是为什么同样是 4-bit，视觉问答中的表现可能比文本分类更敏感。图表问答需要识别细小数字、线条、坐标轴和注释，任何一次截断都可能改变关键视觉特征。文档问答中的发票、收据和表格往往结构更规整，模型定位到字段后答案相对直接，因此低精度带来的影响可能更小。

NVIDIA 关于低精度恢复的技术资料也展示了这一点：更细粒度的缩放机制有助于保留弱信号和异常值，在复杂图表类任务上可能比粗粒度方案更稳健。换句话说，量化格式的选择不能只看“4-bit”三个字，还要看它如何处理动态范围。

对开发者意味着什么

对本地推理开发者而言，最大的收益是显存门槛下降。4-bit权重可以让更大模型进入单机部署范围，也能在相同硬件上提高批处理能力。对于延迟敏感的应用，低精度计算还可能减少内存带宽压力；但真实加速取决于 GPU、推理框架和算子内核是否支持目标格式，不能仅凭模型文件变小就推断端到端延迟会按比例下降。

对模型服务团队而言，量化收益通常体现在单位成本，而不只是单次推理速度。假设同一台机器可以承载的并发模型副本从 1 个增加到 2 个，或者 KV Cache 能够容纳更长上下文，那么成本下降可能比单个请求的算力提升更有价值。反过来，如果业务主要受限于输出长度、网络等待或检索环节，单纯更换 4-bit模型可能不会带来明显收益。

对模型微调团队而言，QAT、QAD的门槛高于普通 PTQ。需要准备有代表性的训练或校准数据，观察不同层的误差，验证任务外泛化能力，还要确认训练后模型能被目标推理栈正确加载。数据规模不一定要达到原始预训练级别，但数据质量和覆盖面直接影响恢复效果。

一个稳妥的评估流程至少应包含四组对照：原始全精度模型、普通 PTQ 4-bit模型、经过 QAT 或 QAD 的 4-bit模型，以及目标硬件上的真实部署版本。评测指标也不能只有一个总分，还应拆分为代码、数学、长上下文、工具调用、视觉理解和业务样本。只有当低精度模型在未参与训练的数据上仍然稳定，反超结果才具有工程意义。

不要把一次反超当成普遍规律

Quantization-Aware Healing目前更像一条值得验证的工程路线，而不是可以无条件套用的压缩配方。它的效果会受到模型架构、训练数据、量化格式、分组大小、校准集、学习率、训练步数和评测任务的共同影响。

尤其需要警惕三类误读。第一，参数存储减少 75% 不等于整体显存减少 75%，因为激活、缓存和运行时开销仍然存在。第二，4-bit计算吞吐提升不等于服务延迟提升同样比例，内核、并发和访存通常会成为新的瓶颈。第三，某个基准分数超过全精度版本，不等于模型在所有任务上的能力都超过原模型。

更现实的判断是：对于已经确定模型和硬件的团队，4-bit不应该再被视为一次简单的离线压缩操作，而应被视为部署优化的一部分。先用 PTQ建立基线，再根据精度损失决定是否投入 QAT或QAD，最后在真实业务数据上确认收益，这样才能把研究结果转化为可维护的生产方案。

结语：量化正在从压缩工具变成优化工具

这次 Quantization-Aware Healing 的核心信号很明确：低精度推理的主要问题不一定是位数太少，而可能是模型没有被训练成适应低精度。只要把量化误差纳入学习过程，4-bit模型就有机会在更低的资源消耗下恢复能力，甚至在特定任务上超过原始全精度模型。

但它也提醒开发者，模型压缩没有脱离数据和评测的捷径。真正值得关注的不是一张“4-bit反超FP16”的排行榜截图，而是压缩后模型能否在目标硬件、真实流量和未见数据上持续稳定地工作。对今天的 AI 基础设施来说，这可能比单纯追求更大的模型更重要：未来的竞争不只是谁训练出了更强的模型，也是谁能把模型以更低成本、更高吞吐和足够可靠的精度交付出去。