量化开始挑战“无损”边界

大模型量化，开始重新定义“无损”

近日，一项名为 Statistically-Lossless Quantization of Large Language Models 的研究在 Reddit 机器学习社区引发讨论，它把大语言模型量化的目标从“平均跑分下降不明显”推进到了“统计意义上无法区分”。截至 2026 年 7 月 25 日，公开讨论主要集中在概念与研究方向上，完整实验设置、逐模型结果和可复现代码仍是判断其价值的关键。

统计无损量化是指：量化模型与原始模型虽然不再逐参数完全相同，但其输出差异在预先定义的统计检验下无法被显著区分。 这和压缩文件意义上的“无损”不是一回事，也比业内常说的“近乎无损”更强调检验标准。

这项工作的看点并不只是又做出一种低比特格式，而是试图回答一个长期被模糊处理的问题：量化模型到底损失了多少能力，以及我们凭什么把它称为“无损”。如果这一框架最终能被独立复现，它对模型部署的意义可能大于某个单项榜单提高零点几分。

“统计无损”不是参数一模一样

传统无损压缩要求解码结果与原始数据逐比特一致，而模型量化通常主动改变权重表示，因此天然不满足这种定义。 一个 BF16 权重被映射为 INT4 编码后，即使再反量化，也很难恢复原始的 16 位数值；只要位宽真正下降，参数层面的严格无损通常就不成立。

大模型量化是把权重或激活值从 FP32、BF16、FP16 等较高精度表示转换为 INT8、INT4 或更低比特表示的模型压缩技术。 以仅计算权重的理论体积为例，一个 70B 参数模型使用 16 位权重时约需 140 GB，使用 8 位权重约需 70 GB，使用 4 位权重则约需 35 GB。这里尚未计入量化比例因子、零点、分组元数据、KV Cache 和运行时工作区，因此实际占用会略高。

“统计无损”关注的是模型行为，而不是权重字节是否原样保留。 如果量化前后的模型在足够多、足够有代表性的输入上产生相近的 token 概率分布，并且差异没有超过采样噪声或预设显著性阈值，那么研究者可以在限定条件下宣称，两者在统计上无法区分。

这种思路很像高质量音频编码：压缩后的波形不一定逐采样点相同，但在人类听觉模型与统计测试下，听者无法稳定分辨。问题在于，语言模型的“听觉系统”远比音频复杂。一个模型可能在常规问答中表现一致，却在长上下文、罕见 token、数学推理或工具调用边界上出现系统性偏差。

它比“跑分掉不到 1%”严格在哪里

当前量化论文最常见的“无损”证据，是困惑度变化很小或少数基准分数接近原模型。 这类结果有参考价值，但远不足以证明模型行为没有发生重要变化。

例如，一个量化模型在某项选择题基准上从 80.0 分降至 79.7 分，0.3 个百分点的差距可能落在评测波动内，也可能掩盖了一类题目的集中退化。类似地，WikiText 一类语料上的困惑度只压缩了整体 token 预测误差，无法直接说明代码补全、JSON 输出、函数调用和多轮对话仍然稳定。

统计检验的价值是把“看起来差不多”变成一个可证伪的命题。 一个可信的统计无损框架至少要明确四件事：比较对象是什么、输入从什么分布采样、使用哪种统计量、显著性阈值是多少。缺少任何一项，“统计无损”都可能退化成包装过的“平均性能接近”。

| 判断方式 | 比较对象 | 优点 | 主要盲区 | 能否称为严格无损 | |---|---|---|---|---| | 参数逐比特一致 | 原始权重与恢复权重 | 定义清楚，可直接验证 | 真正低比特量化通常无法满足 | 可以，但不适用于常规有损量化 | | 困惑度接近 | 语料上的平均负对数似然 | 成本较低，适合快速筛选 | 容易掩盖局部和长尾退化 | 不可以 | | 下游跑分接近 | MMLU、GSM8K、代码等任务得分 | 接近实际能力评估 | 受题集、提示词和采样方差影响 | 通常只能称近乎无损 | | 输出分布统计等价 | token 概率、logit 或序列分布 | 能直接观察模型行为差异 | 样本成本高，结论依赖输入分布 | 可在限定检验范围内称统计无损 | | 端到端行为等价 | 生成结果、格式、工具调用和安全行为 | 最接近生产环境 | 很难覆盖开放世界输入 | 只能给出场景限定结论 |

真正有说服力的结论不应只报告“未发现显著差异”，还应报告检验能力。 如果样本量太小，统计检验无法识别真实存在的差异，那么“未拒绝差异为零”并不等于“证明两者等价”。更合理的做法是使用等价性检验，提前规定可接受误差边界，并公开置信区间、效应量与多重检验校正方式。

量化误差为什么可能被控制住

量化误差不是平均分配到所有参数上的白噪声，而是会沿着网络结构被放大或抵消。 Transformer 中少量离群权重、激活尖峰和高敏感通道，往往决定低比特量化是否崩溃。把所有通道用同一尺度粗暴映射到 INT4，通常会让大数值占满动态范围，而大量普通权重只能挤在少数刻度上。

分组量化是把权重切成较小组并分别计算缩放系数的量化方式。 分组越小，通常越能适应局部分布，量化误差也越低，但比例因子和元数据占比会增加，内核实现也更复杂。所谓 4-bit 模型并不意味着每个参数的端到端存储成本恰好是 4 bit。

混合精度量化是让敏感层或敏感通道保留更高位宽、其余部分采用更低位宽的方法。 这也是统计无损思路最现实的落地路径之一：目标不必是让每一层都压到相同位宽，而是在给定显存预算下，寻找不会造成可检测行为变化的精度分配。

随机舍入是按照数值与相邻量化点的距离，以概率方式选择舍入方向的方法。 与永远取最近整数相比，随机舍入有机会让量化误差在期望上保持无偏，避免大量微小误差持续朝同一方向积累。不过，无偏不等于无害；如果误差方差过大，深层网络仍可能产生明显输出偏移。

后训练量化是无需重新完整训练模型、只利用少量校准数据完成低精度转换的方法。 GPTQ 等方法的实际吸引力就在于部署成本低，但校准集决定了优化器“看见”什么。如果校准数据主要是英文百科文本，最终模型在中文长文本、代码和数学上的统计无损结论就缺少依据。

与主流量化路线相比，优势仍要看硬件

统计标准本身不会自动带来推理加速，真正的吞吐提升取决于量化格式是否有高效内核支持。 一个理论上压得更小的模型，如果推理时频繁反量化，或者 GPU、NPU 没有对应的矩阵乘单元，实际延迟可能不降反升。

| 路线 | 典型精度 | 是否通常需要训练 | 核心目标 | 现实特点 | |---|---:|---|---|---| | FP16/BF16 | 16 bit | 否 | 保持原始精度与兼容性 | 显存占用高，部署最稳妥 | | INT8 量化 | 8 bit | 通常不需要完整训练 | 在低风险下压缩权重或激活 | 硬件支持成熟，压缩率有限 | | GPTQ 类 PTQ | 常见为 4 bit 权重 | 不需要完整训练，需要校准 | 最小化层级重构误差 | 生态成熟，效果依赖模型与校准集 | | GGUF 低比特格式 | 常见为 2—8 bit 组合 | 否 | 面向 CPU、消费级设备灵活部署 | 格式与量化档位丰富，实际速度依赖后端 | | 量化感知训练 QAT | 可到 4 bit 或更低 | 需要训练或微调 | 让模型主动适应量化误差 | 成本较高，但低位宽上限通常更好 | | 统计无损量化 | 位宽取决于误差约束 | 取决于具体实现 | 让量化前后行为差异无法被统计检出 | 标准更严格，公开复现与硬件收益仍待确认 |

这条路线最可能优先改善的是模型交付可信度，而不是立刻刷新所有速度纪录。 企业部署量化模型时，真正棘手的问题不是文件能否加载，而是无法清楚回答“哪些能力退化了”。如果统计无损方法能输出一份包含置信区间、敏感层、失败输入和适用分布的报告，它会比单一平均跑分更适合进入上线审批流程。

“无损”二字最容易被营销滥用

统计无损必须附带范围，脱离输入分布和检验阈值谈无损没有意义。 在 2,048 token 以内的英文通用文本上无法区分，不代表在 128K 长上下文中无法区分；在 greedy decoding 下首个 token 一致，也不代表温度为 0.8 的多轮采样分布一致。

生成模型的随机性会显著增加验证难度。 当温度大于 0 时，即使是同一个未量化模型，两次生成也可能完全不同。合理的评估不应只比较最终文本是否逐字一致，而应优先比较相同上下文下的 logits、KL 散度、top-k 排名、校准误差与序列级统计量。

长尾输入是统计无损量化最难绕过的测试。 普通语料中的高频 token 占据绝大多数样本，少数罕见语言、特殊符号、超长数字、代码缩进和结构化输出错误很容易被平均值淹没。对开发者而言，一个 JSON 括号错误造成的业务损失，可能远高于一万次普通对话中微小的概率偏移。

安全行为也不应被平均能力指标替代。 量化可能改变拒答边界、系统提示遵循度和敏感内容概率，而这些变化未必会反映在困惑度或知识问答跑分中。统计无损若要成为生产标准，就必须把安全集、工具调用集和格式遵循集纳入分层检验。

开发者现在应该怎么验证

开发者现阶段不应因为“统计无损”标签直接替换线上模型，而应把它当作一套更严格的验收思路。 在完整论文、模型文件、校准数据和评测脚本公开前，任何绝对化的无损结论都应该谨慎对待。

一套更实用的验证流程至少包括以下五步：

1. 固定比较基线。 明确原模型提交版本、权重精度、推理框架、上下文长度和解码参数，避免把框架差异误判为量化误差。
2. 按业务分层采样。 分别构建通用文本、中文、代码、数学、长上下文、结构化输出和工具调用数据集，而不是只混成一个平均值。
3. 先比较概率分布。 在相同提示下记录 token 级 logits、top-k 排名变化和 KL 散度，再进行生成结果评估。
4. 报告置信区间。 除了平均分，还要给出样本量、方差、最差分位数和等价边界，防止平均指标掩盖局部崩溃。
5. 测量端到端收益。 同时记录模型文件大小、峰值显存、首 token 延迟、每 token 延迟、吞吐量和功耗，确认压缩确实转化成部署收益。

量化方案只有同时降低资源成本并守住业务误差边界，才算真正有效。 如果模型体积从约 140 GB 降至约 35 GB，却因为缺少优化内核而没有提高吞吐，价值主要只是降低存储和显存门槛；如果速度提高但结构化输出错误率翻倍，也很难称为生产可用。

判断：概念值得追，但证据门槛必须更高

统计无损量化提出了一个正确的问题：大模型压缩不能继续只靠几个平均跑分证明“几乎没损失”。 它把量化评价从经验描述推向统计命题，有机会形成更可审计、更适合生产部署的压缩标准。

这项方向当前最大的风险，是“统计无损”被误读为任何场景下都与原模型等价。 统计结论永远依赖样本、分布、阈值和检验能力；未检测到差异，也可能只是测试集不够大或覆盖不足。没有跨模型、跨语言、跨上下文长度和跨硬件的独立复现，现阶段还不能断言精度与体积已经被彻底同时解决。

对开发者最有价值的变化，可能不是马上多出一种量化文件，而是获得一种更靠谱的验收方法。 未来量化模型如果能像性能报告一样，明确标注“在哪些输入分布、何种精度阈值和多大置信水平下与基线等价”，那么“无损”才会从营销词变成工程指标。

参考来源

• Reddit：Statistically-Lossless Quantization of Large Language Models：本次研究讨论的社区入口，可查看原帖及后续评论。
• 知乎：大语言模型瘦身术——资源受限环境下的模型压缩技术全景解析：介绍知识蒸馏、模型量化等大模型压缩路线，适合作为背景阅读。