验证框架能否替代模型规模？4B 大模型实验结果被锁定测试推翻

一位研究者用约 207 美元、23 组预注册实验，测试了一个问题：如果给 4B 级模型配上事实抽取、代码校验、算术执行和模板组装，能不能用工程化验证框架弥补参数规模不足？

截至 2026 年 8 月 21 日，这项实验最值得关注的不是“4B 模型被证明可以媲美更大模型”，而是相反的结论：早期看起来足以支撑标题的结果，最终被事先锁定的留出测试推翻了。

这不是一次普通的 Prompt 调优，也不是在公开榜单上刷出一个漂亮分数。研究者把每次实验的成功标准提前写进 runbook，在花钱运行之前冻结评测门槛；所有失败的实验也一并公布。实验最终告诉开发者：验证框架可以把小模型变得更稳，但“更稳”不等于“更会推理”，外部工具链也不能自动替代模型权重中编码的知识、抽象能力和迁移能力。

先说结论：验证能替代一部分错误来源，但替代不了规模

**验证框架是指由模型负责提出中间结论、再由确定性程序检查这些结论，并将通过检查的信息重新提供给模型或模板的系统。**它解决的不是“模型有没有想到正确答案”，而是“模型已经想到的内容有没有被准确引用、计算和输出”。

本次实验使用的框架被称为“cube”。它把一个看似连续的推理过程拆成多个可检查环节：

1. 模型从题目文本中抽取事实；
2. 代码检查每条事实是否真的出现在原文中；
3. 数字必须逐字出现，并满足至少 60% 的词覆盖率；
4. 决定性算术由代码执行，而不是交给模型心算；
5. 约束判断、条件预测、选项选择和估算等阶段，只能把经过验证的事实作为锚点；
6. 最后通过模板组装答案，并进行数字层面的格式筛查。

这种设计对“数字抄错”“题干事实遗漏”“算术算错”“答案格式不稳定”等问题很有效。模型不再需要同时承担阅读、记忆、计算、组织语言和最终校验几项工作，像是给一名容易粗心的分析员配了一套审计流程。

但它有一个边界：代码可以验证模型说出的事实是否来自题目，却不能验证模型是否找到了题目真正重要的事实；可以执行加减乘除，却不能替模型决定该算什么；可以阻止格式错误，却无法凭空产生新的抽象推理。

因此，实验对“验证能否替代规模”的回答更接近：验证可以替代部分脆弱的执行环节，但不能替代模型规模带来的表征能力和泛化能力。

实验如何控制变量：所有方案使用同一套权重

这项实验的核心控制相当严格。所有实验臂使用同一套基础权重，即 Qwen3-4B-Instruct-2507，并叠加同一个 LoRA。这样做的意义是，把比较重点从“哪个模型更大、更强”转移到“同一模型在不同推理架构下能做到什么程度”。

研究者设置了至少两类关键对照：

• 单次直出控制组：同一套 Qwen3-4B-Instruct-2507 权重直接回答问题，不使用 cube 验证流程；
• 验证框架组：同一套权重经过事实抽取、程序校验、算术执行和模板组装；
• 推理模型对照组：使用 Qwen3-4B-Thinking-2507，这是一款同系列、经过推理训练的兄弟模型，用于观察“推理训练”与“外部验证”之间的差异。

| 对比方案 | 模型/权重 | 是否使用外部验证 | 主要能力来源 | 实验意义 | |---|---|---:|---|---| | 直接回答 | Qwen3-4B-Instruct-2507 + 同一 LoRA | 否 | 模型自身生成 | 基线，衡量裸模型能力 | | cube 验证框架 | Qwen3-4B-Instruct-2507 + 同一 LoRA | 是 | 模型提议 + 程序检查 | 测试工程框架能否弥补小模型短板 | | Thinking 对照 | Qwen3-4B-Thinking-2507 | 资料中未将其作为 cube 的同权重变体 | 推理训练与模型本身 | 对照推理训练的价值 |

这里有一个容易被忽略的细节：cube 并没有把 Qwen3-4B-Instruct 变成一个更大的模型。它只是把任务拆开，把一部分确定性工作交给代码。这个差异决定了它的优势往往集中在“受约束、可验证、答案结构明确”的任务，而不是开放式问题、隐含前提复杂的问题或需要跨领域迁移的问题。

23 组实验、约 207 美元：预注册比漂亮结果更重要

**预注册是指在实验运行和看到结果之前，先固定研究问题、实验设置、成功标准和分析规则。**它的价值在于减少“看完结果再修改目标”的空间，避免研究者无意中把偶然领先包装成稳定结论。

这项实验在一个月内完成了约 23 组实验，个人总花费约 207 美元，平均每组实验成本约 9 美元。研究者在每次运行前冻结成功标准，随后按照 runbook 执行，并公开那些没有达到预设门槛的结果。

这在大模型实验中并不常见。很多所谓“框架有效”的结论，实际上来自以下流程：先试多个 Prompt、多个数据切分和多个评测指标，找到最好的组合，再把它描述成原本就计划验证的方案。这样的结果可能仍然有工程价值，但不能直接当作严谨的因果证据。

本次实验的重点恰恰是把“能不能达到预设标准”和“事后看起来有没有提升”分开。早期结果一度足以支撑一个更激进的标题：验证框架似乎能让 4B 模型在 grounded reasoning，也就是基于给定文本进行受约束推理的任务上，接近甚至超过更强的方案。

但研究者没有停在这里。

锁定留出集为什么推翻了早期结论

**锁定留出集是指在实验设计阶段确定、运行期间不用于调参或选择方案，直到最后才揭晓的测试数据。**它的作用类似考试中的密封卷：如果系统只在开发集上表现好，而在密封题上失效，那么此前的领先很可能来自对题型、措辞或评测规则的适应。

这次实验的“盲性纪律”是逐步加强的：先冻结所有运行的成功门槛，再使用更严格的锁定测试。最终，锁定 holdout 没有复现最初支持 headline 的结果，并对研究者自己的早期结论构成了直接反证。

换句话说，cube 不是完全无效，而是早期观察到的优势没有通过最关键的外部检验。这两个判断必须同时成立：

• 在部分开发条件下，验证框架能够改善输出质量；
• 在未参与调参的锁定测试上，这种改善不足以证明它可以替代模型规模或稳定超过更强的推理方案。

这比“实验失败了”更有价值。它说明框架的收益可能被任务分布、题目模板、事实覆盖规则和评测提示词放大。只要验证器与开发样本共享了过多结构，系统就可能学会一种“如何通过检查”的策略，而不是获得真正更强的推理能力。

cube 真正改善了什么，没改善什么

从机制上看，cube 解决的是四类高频错误。

1. 降低事实引用错误

如果题目写着“甲在 2020 年签署合同”，模型却在回答中写成 2021 年，代码可以要求年份必须逐字出现在题目中。对于法律、财务、检索增强问答等场景，这种约束非常实用。

但“原文出现过”不等于“引用正确”。题目可能同时出现多个年份、多个主体和多个条件。字符串覆盖率能检查来源，却不能理解指代关系、时间范围和因果关系。

2. 降低算术错误

把加减乘除交给程序执行，通常比让 4B 模型在自然语言中计算可靠得多。尤其当问题要求连续计算、百分比换算或多个数字相乘时，代码执行是低成本且确定性的改进。

但算术只是推理链条的一环。程序可以正确地计算“12×5”，却不能判断题目究竟要求计算“12×5”还是“12+5”。模型如果在公式选择阶段犯错，后面的确定性计算反而会把错误执行得更漂亮。

3. 降低格式和输出漂移

模板组装、数字筛查和阶段性输出，可以让答案更适合下游系统消费。例如法律量刑预测、结构化报告和业务审批中，格式稳定性往往和语言流畅度同样重要。

4. 没有解决开放式抽象推理

涉及隐含条件、反事实关系、长距离依赖和陌生任务迁移时，验证器的能力明显受限。它能检查“这句话有没有依据”，却不能保证“这个依据是否足以推出结论”。

这也是小模型与大模型之间最难靠工程补齐的部分。模型规模带来的优势，不只是记住更多知识，还包括更丰富的中间表示、更强的组合能力，以及面对新表达方式时的迁移能力。

与 Qwen3-4B-Thinking 的对照说明了什么

Qwen3-4B-Thinking-2507 作为同系列推理训练模型，提供了一个重要参照：推理能力并不等同于输出中写了多长的思维过程，也不等同于是否接入了验证工具。

一个未经专门推理训练的 Instruct 模型，接入 cube 后，可能在受限任务上获得明显的可靠性收益；但这不代表它拥有了 Thinking 模型那种处理新问题、拆解隐含条件和持续修正假设的能力。

可以把两者类比成两种团队：

• cube 更像一套严格的审计与计算流水线，擅长阻止已知类型的错误；
• Thinking 模型更像经过专项训练的分析员，可能在面对陌生问题时更能决定“应该检查什么”和“下一步该推导什么”。

前者能显著减少低级失误，后者更可能提高问题建模能力。实际系统通常需要二者结合，而不是把验证框架当成模型规模的替代品。

这项实验对开发者最实际的启示

不要把“可验证任务”误判为“通用推理能力”

如果任务的正确答案可以拆成文本事实、明确规则和确定性计算，那么 4B 模型配验证器很可能是高性价比方案。比如：

• 从合同中抽取金额、日期和主体；
• 按固定规则计算账单、折扣或利息；
• 根据给定证据完成结构化分类；
• 生成格式固定、数字不能出错的业务报告。

但如果任务依赖常识推断、复杂指代、跨文档整合或开放式规划，就不能只看开发集上的准确率。

把验证器当作独立系统测试

验证器不是天然可靠的“裁判”。它本身也需要测试：

• 是否会接受语义相近但事实错误的改写；
• 60% 的词覆盖率是否过宽或过窄；
• 数字逐字匹配能否处理单位、千分位和日期；
• 是否会因为模板限制而掩盖模型的不确定性；
• 面对干扰句、否定句和条件逆转时是否仍然有效。

尤其要加入对抗性样本。原文中同时放入多个相似数字、相反结论和无关事实，才能测试系统是否真的理解依据，而不是只会找字符串。

开发集、验证集和锁定集必须真正隔离

只要研究者根据开发集结果修改 Prompt、阈值或流程，开发集就不再是客观测试。更稳妥的做法是至少划分三部分：开发集用于调试，验证集用于选择方案，锁定集只在最终版本确定后使用。

如果预算允许，还应进行跨模板、跨领域和跨语言测试。一个框架在“数字题+固定表述”上有效，不代表它能处理法律文本、医疗文本或用户自由改写后的同一问题。

结果要报告置信区间，而不是只报单点分数

参考资料没有给出一组足以概括所有任务的统一准确率数字，因此不能把这项实验解读成“cube 让 4B 达到某个具体百分比”。对于此类小规模个人实验，更应该报告样本数量、任务分布、失败类型和锁定集结果，而不是只引用最好的单次得分。

这也是对当前大模型评测生态的提醒：一个刷新排行榜的数字，如果没有数据隔离、预注册标准和失败案例，信息量可能还不如一份完整的错误分析。

从“刷榜”转向“失效模式”

近年来，评测集污染、题目泄露、公开榜单过拟合和模型针对测试格式优化的问题越来越明显。动态评测、题目改写、上下文加噪和极性反转等方法，都是为了检验模型是否真正理解任务，而不是记住了答案或题型。

这项 4B 实验的价值，也正在于它没有把故事写成“一个小模型击败规模定律”。它展示了更接近真实研发的过程：提出大胆假设，看到积极信号，再用更严格的锁定测试否定自己。

对开发者而言，最该复用的不是 cube 的某个具体阈值，而是这套实验纪律：

1. 在花钱和调参前写下成功标准；
2. 让基线与改进方案使用相同数据和评测器；
3. 预留从未参与调试的锁定测试；
4. 公开失败实验和异常样本；
5. 把“事实错误、选择错误、计算错误、格式错误”分开统计；
6. 明确哪些改进来自模型能力，哪些只是来自流程约束。

最后的判断：验证框架是杠杆，不是替代品

这项实验没有证明“小模型配框架就能取代大模型”，但它证明了另一件更实用的事：在边界清晰的任务中，验证框架可以把有限的模型能力转化为更高的系统可靠性。

工程上，这已经足够有价值。一个 4B 模型如果部署在本地设备、边缘服务器或成本敏感的批处理任务中，接入事实校验和程序计算，可能比直接调用更大的模型更便宜、更快，也更容易审计。

但在“理解问题”“选择正确证据”“发现隐含条件”和“迁移到陌生任务”这些环节，参数规模与推理训练仍然重要。锁定 holdout 推翻的，正是把局部的流程收益夸大为普遍能力跃迁的那一步。

因此，比较准确的结论是：验证框架可以替代一部分可靠性工程，却不能替代模型规模；它能减少模型犯错的机会，却不能让模型自动获得原本没有的推理能力。

对于正在做小模型落地的团队，这不是一个令人失望的答案，反而是一条更可靠的路线：先用小模型完成可拆解的子任务，再用确定性程序接管计算和约束，最后把真正需要理解、规划和泛化的部分交给更强的模型。不要迷信一个漂亮的开发集分数，也不要因为一次反例就否定工具增强。真正需要验证的，是系统在锁定、陌生和对抗条件下还能不能工作。

参考来源

• Reddit：预注册的 23 组实验与锁定留出集结果——本文讨论的原始实验说明，包括约 207 美元成本、同权重对照、cube 验证框架和最终被 holdout 推翻的早期结论。
• ChineseFactEval 项目介绍——上海交通大学研究团队关于中文大模型事实性评估的公开资料，用于说明事实可靠性评测的背景。
• Benchmark Self-Evolving 介绍——智源社区转载的动态评测框架介绍，涉及评测集污染、上下文改写、加噪和极性反转等方法。
• Qwen3-4B-CriminalLaw-cn 项目页面——一个基于 Qwen3-4B-Instruct 的垂直领域微调案例，展示 4B 级模型在受限领域任务中的应用方式。