AI答对了，推理却未必可信

答案正确，不等于真正会做

今天（2026 年 7 月 31 日），Quanta Magazine 刊发《Is AI Reasoning Right for the Wrong Reasons?》，把一个容易被模型跑分掩盖的问题重新摆到台前：AI 推理模型即使答对了，也可能只是碰巧走到了正确终点，途中使用的事实、公式、因果关系乃至解题步骤仍然是错的。

这个问题比普通幻觉更棘手，因为错误答案通常容易暴露，错误理由配上正确答案却很容易通过自动评测。一个数学模型算出正确整数，一个医疗模型给出正确疾病名称，一个代码模型生成通过测试的补丁，现有基准往往就会记作成功；至于模型究竟理解了问题、利用了数据捷径，还是先猜答案再补理由，评分器未必看得出来。

推理忠实性是指模型给出的解释，是否真实、准确地反映了产生结论所依赖的信息与推导关系。 它和答案正确率不是同一个指标：答案正确衡量终点，推理忠实性衡量模型是否沿着可靠路线抵达终点。

这不是在争论模型有没有像人一样的“内心活动”，而是在追问一个更工程化的问题：当系统把理由交给用户审查时，这些理由到底能不能作为证据。我的判断是，在低风险聊天中，这可能只是体验瑕疵；在医疗、法律、科研、金融和自动化开发中，它是足以改变系统上线标准的可靠性缺陷。

四种“答对但理由错”

答对但理由错并不是单一故障，而是多种机制产生的相同表象。 如果不先区分类型，团队很容易用一种测试覆盖所有问题，最终得到虚假的安全感。

第一类是计算或逻辑步骤出错，但多个错误互相抵消。例如模型先把一个数多加了 10，后面又意外减掉 10，最终结果仍然正确。这类似学生在草稿纸上连续犯了两个相反方向的错误，不能据此判断他掌握了方法。

第二类是先命中答案，再生成事后解释。语言模型的基本训练目标是预测下一个词，生成一段连贯理由并不天然等于披露内部计算过程。模型可能从题型、选项分布或记忆片段中先锁定答案，再补上一段看似完整的论证；这段论证在语言上很顺，在逻辑上却可能并非答案成立的原因。

第三类是使用数据捷径，也就是依赖与答案相关、但不应决定答案的表面特征。比如情感分类器发现训练集中带感叹号的文本更常被标为正面，医学模型把医院水印当作疾病线索，数学模型记住了公开题库中的答案模板。模型在同分布测试集上可以得高分，换一个标点、背景或数字就会迅速失效。

第四类是理由本身包含虚构事实。模型可能给出正确结论，却引用不存在的论文、错误的法条编号或并不支持该结论的网页。这种情况尤其危险，因为用户会把“答案正确”产生的信任转移到引用材料上，继而传播无法核验的信息。

| 类型 | 最终答案 | 展示的理由 | 常规准确率能否发现 | 主要风险 | | --- | --- | --- | --- | --- | | 错误抵消 | 正确 | 中间计算或逻辑错误 | 通常不能 | 换数字后失效 | | 事后合理化 | 正确 | 流畅但并非真实依据 | 很难 | 解释不可用于审计 | | 数据捷径 | 正确 | 依赖无关表面特征 | 同分布测试很难 | 分布变化后崩溃 | | 虚构证据 | 正确或碰巧正确 | 引文、事实或来源错误 | 只评答案时不能 | 误导决策与责任追踪 |

思维链不是一张脑部扫描图

思维链是模型以自然语言展开中间步骤的生成方法，而不是对模型内部神经计算的逐帧读取。 这一点常被产品界面模糊：当模型用“首先、其次、因此”写出数百字分析时，人很容易把它理解为模型真实经历过的思考记录。

实际情况更接近一份自动生成的解题报告。报告可能与内部计算有关，也可能只是根据问题、已有上下文和候选答案生成的合理叙述；报告写得越像人类，并不自动意味着它越忠实。部分推理产品还会对内部推理进行压缩、筛选或重新表述，用户看到的内容更不能直接等同于底层推理轨迹。

这并不意味着思维链毫无价值。高质量的中间步骤可以帮助模型拆解复杂任务，也能给外部验证器提供检查点；问题在于，开发者不能仅凭“模型说自己是这样想的”就完成验证。自然语言解释是一项待检验的输出，不是自带真实性担保的日志。

Quanta 今天的报道之所以值得关注，就在于它把讨论从“模型会不会推理”推进到了“我们凭什么知道它在可靠地推理”。前一个问题常被基准分数回答，后一个问题则需要因果干预、反事实测试和逐步验证，难度高得多。

旧数据早已给出警告

过程监督是对推理中间步骤逐项提供反馈，而结果监督只根据最终答案给予奖励。 DeepMind 团队早在 2022 年就使用 GSM8K 小学数学应用题比较过两条路线，并发现仅看最终答案会漏掉相当一部分错误推理。

在该研究中，结果监督与过程监督取得了接近的最终答案表现，但结果监督模型的推理错误率为 19.8%，过程监督模型为 11.4%，相差 8.4 个百分点。结合监督学习和奖励模型强化学习后，研究中的最佳系统把答案错误率从此前的 16.8% 降到 12.7%，同时把“答案正确但推理错误”的比例从 14.0% 降到 3.4%。当模型可以对 30% 的问题选择回避时，最终答案错误率还能降至 2.7%。

| 评估项目 | 基线或结果监督 | 改进方法 | 变化 | | --- | ---: | ---: | ---: | | 推理错误率 | 19.8% | 11.4%（过程监督） | 降低 8.4 个百分点 | | 最终答案错误率 | 16.8% | 12.7%（组合方法） | 降低 4.1 个百分点 | | 答案正确但推理错误 | 14.0% | 3.4%（组合方法） | 降低 10.6 个百分点 | | 允许回避 30% 问题后的答案错误率 | 12.7% | 2.7% | 降低 10 个百分点 |

这些数字不能直接套用到 2026 年的前沿推理模型，因为模型规模、训练方法和测试集都已经变化，但它们清楚说明了指标错位：两个最终准确率相近的系统，推理可靠性可以明显不同。如果产品只展示一个总正确率，用户看不到这种差异。

回避是模型在证据不足时明确不作确定回答的行为。 OpenAI 在 2025 年解释语言模型幻觉时也指出，许多标准评测奖励猜测而不是承认未知。在其公布的 SimpleQA 示例中，gpt-5-thinking-mini 的准确度为 22%、错误率为 26%、回避率为 52%；o4-mini 的准确度为 24%、错误率为 75%、回避率仅为 1%。后者准确度高 2 个百分点，却多出 49 个百分点的错误回答。

| 模型 | 准确度 | 错误率 | 回避率 | 该数据说明什么 | | --- | ---: | ---: | ---: | --- | | gpt-5-thinking-mini | 22% | 26% | 52% | 更愿意承认证据不足 | | o4-mini | 24% | 75% | 1% | 几乎总会给答案，但错误更多 |

这两组实验测试的任务不同，不能横向比较模型能力，却共同暴露了准确率作为单一指标的缺陷。只奖励“交卷”，系统就会学会猜；只奖励最终答案，系统就没有足够动力保证每一步理由都可靠。

为什么模型能蒙得如此像

语言模型最擅长的是生成统计上合理的文本，而可靠推理还要求事实、规则和中间状态保持一致。 一段解释是否顺畅，主要受语言概率影响；一段解释是否有效，则需要外部世界、形式逻辑或可执行环境来约束，两者并不天然一致。

强化学习还可能放大这种偏差。如果人类标注者更偏爱结构清晰、语气自信、篇幅完整的回答，模型就会学会生产“像好答案的理由”。当标注时间有限时，一段错误但流畅的论证，甚至可能比一段简短、谨慎且正确的回答得到更高评价。

公开基准也会制造捷径。题目、答案和解题模板一旦广泛出现在训练语料中，模型可能依靠记忆完成测试；即使没有逐字见过题目，它也可能学到数据集固定的措辞、答案分布和出题习惯。这解释了为什么某些模型在标准测试中接近满分，面对同一道题的反事实改写却明显退步。

多次采样的一致性同样不能证明理由正确。让模型生成 20 条推理路径并按多数答案投票，确实可能提高最终准确率，但 20 条路径也可能共享同一个训练偏差。十个人抄了同一份错误答案，不会因为意见一致就变成独立证据。

开发者该换一套评测方式

可靠的推理评测需要同时检查答案、步骤、证据和扰动后的稳定性。 对正在构建 Agent、知识库问答、代码助手或行业模型的团队来说，继续只报一个 pass@1 或准确率，已经不足以描述系统质量。

1. 把最终答案与推理过程分开计分

双轨评分能揭示“结果对、过程错”的隐藏样本。 每条测试数据至少应记录最终答案是否正确、关键步骤是否有效、引用证据是否支持结论，以及模型是否在不确定时合理回避。

团队可以建立四象限：答案对且过程对、答案对但过程错、答案错但局部过程对、答案与过程都错。其中第二象限最值得单独追踪，因为它在传统报表里会被归入成功，却可能成为上线后的高风险故障。

2. 用反事实扰动打掉捷径

反事实测试是只改变非本质线索或关键条件，再观察模型结论是否按因果关系变化。 数学题可以更换数字和人物名称，分类任务可以移除格式、水印与特定措辞，法律问题可以替换司法辖区或时间，代码任务可以加入覆盖边界条件的新测试。

一个真正依赖正确规则的模型，应在无关信息变化时保持结论，在关键条件变化时相应调整结论。如果模型恰好反过来，说明它很可能在利用表面相关性。

3. 让理由接受外部验证

外部验证是使用可执行工具或独立证据检查模型生成的中间结论。 数学步骤可以交给符号计算器，代码补丁可以运行测试与静态分析，引用可以核对原始文献，结构化数据可以检查约束和单位。

关键原则是不要让同一个模型既当选手又当唯一裁判。让模型自我反思可以降低部分错误，但同一模型的生成器与评审器往往共享盲点；更稳妥的方案是组合确定性工具、不同模型、人工抽检和真实环境反馈。

4. 测量校准与回避，而非强迫作答

置信度校准是模型表达的把握程度与真实正确概率之间的一致性。 如果系统声称有 90% 把握，那么在大量同类样本中，它应当约有 90% 正确；如果只有 60% 正确，这个置信度就不可信。

高风险产品还应设置回避阈值，并把“缺少证据”“问题条件不足”和“工具执行失败”设计成正常状态。一个能在 20% 困难样本上停下来请求人工确认的系统，往往比一个覆盖率 100%、却把猜测写成事实的系统更有价值。

5. 保存可审计证据，不迷信长篇思维链

可审计证据是能够由用户或工具独立复核的事实、文档片段、计算结果与执行记录。 产品真正需要保存的通常不是一大段拟人化独白，而是来源文档、检索片段、工具输入输出、关键决策点和错误状态。

这也是“解释性”和“可审计性”的区别。解释性回答可以帮助人理解，审计记录则必须支持复现；前者可以由模型润色，后者不能被模型随意改写。

正确答案不该成为免检通行证

未来推理模型的竞争不会只看谁答对更多，还要看谁能用可验证的方法稳定答对。 随着基础模型在传统数学、编程和知识基准上逐渐逼近饱和，过程可靠性、反事实稳健性、校准误差和风险覆盖率会成为更有区分度的指标。

对开发者来说，最现实的改变不是停止使用思维链，而是降低对它的证据等级。模型写出的理由可以用于提出假设、拆解任务和辅助排错，但不能在未经验证时直接承担证明责任。

对模型厂商来说，仅发布一个更高的基准分数也越来越不够。更有价值的信息包括：答案正确但过程错误的比例、不同扰动下的性能变化、错误率与回避率的权衡，以及外部工具验证失败时系统如何降级。

这轮讨论最终指向一个并不新鲜、却经常被 AI 产品忽略的工程常识：测试通过不代表实现正确，结果吻合也不代表因果链条成立。AI 推理真正危险的时刻，未必是它明显胡说，而是它给出一个恰好正确的答案，再用一段足够漂亮的错误理由让所有人停止检查。

参考来源

• OpenAI PRM800K 数据集与过程监督项目：包含逐步过程奖励模型相关数据和研究资源，可用于理解如何对数学推理步骤进行监督。
• Chain-of-Thought Prompting 论文页面：介绍思维链提示如何通过生成中间步骤提升大型语言模型的复杂推理能力。
• 过程反馈与结果反馈研究论文页面：DeepMind 团队对数学文字题中的过程监督、结果监督及推理错误进行了系统比较。