让模型多猜几次，再学会选最好

近日，开发者 Alexi Glad 在《Explorative modeling: Train on the best of K guesses》中提出了一种直观的训练思路：不要要求模型一次就给出唯一正确答案，而是允许它生成 K 个猜测，再用其中表现最好的一个计算训练损失。这个方法并不复杂，却击中了生成模型的一个长期矛盾——现实世界往往存在多种合理结果，传统训练却总在逼模型给出一个平均化答案。

探索式建模（Explorative Modeling）是一种把“候选集合质量”而非“单次预测质量”作为训练目标的方法。它鼓励模型在面对不确定问题时主动覆盖多种可能性，并通过最佳候选获得训练信号。

这不是又一个靠拉长思维链堆算力的推理模型方案。它更像是在训练阶段告诉模型：同一道题可以走几条不同路线，只要其中一条走通，就不要因为其他路线暂时失败而把全部探索行为都抹掉。

Best-of-K 到底训练了什么

Best-of-K 训练是指模型对同一个输入生成 K 个候选，仅使用与真实目标最接近的候选来计算主要损失。假设模型给出的候选为 ŷ₁、ŷ₂……ŷₖ，真实目标为 y，那么最简单的训练目标可以写成：

$$ L_{Best-of-K}=\min_{i\in{1,...,K}}L(\hat{y}_i,y) $$

这个公式改变的不是损失函数本身，而是损失函数作用的对象。普通监督学习会惩罚每一个偏离标签的输出，Best-of-K 则先在候选内部进行一次“选优”，再让胜出的候选承担梯度更新。

赢家通吃（Winner-Takes-All，WTA）是这种训练方式最直接的实现：每个样本只向损失最低的候选分支传播梯度。它与多选择学习、轨迹预测中的 variety loss，以及生成任务中的 best-of-many objective 属于同一技术家族，只是“探索式建模”更强调把这种机制视为模型能力，而不只是一个特定任务的损失技巧。

一个两点分布可以说明它为什么有用。假设未来结果只有 -1 和 +1 两种可能，而且概率各为 50%；使用均方误差训练单输出回归模型时，最优预测往往是均值 0，但 0 恰恰是从未出现过的结果。让模型输出两个候选并采用 Best-of-2 训练后，一个候选可以覆盖 -1，另一个候选可以覆盖 +1，模型不再需要用一个不存在的“平均未来”讨好损失函数。

这类平均化问题在图像生成、机器人动作、自动驾驶轨迹和代码修复中都存在。同一张草图可能对应多种合理成图，同一个路口可能存在直行或转弯两条合法轨迹，同一个软件缺陷也可能有多种正确补丁；强迫模型只输出一个目标，常常会把多峰分布压成一个平庸结果。

它与“推理时多采样”不是一回事

推理时计算扩展（Test-Time Compute Scaling）是通过增加回答阶段的计算量来换取更高答案质量的方法。常见做法包括生成更长的推理链、对同一问题采样多次、使用搜索树扩展路径，以及调用验证器选择候选。

Best-of-N 推理是在模型训练完成后生成 N 个答案，再由奖励模型、规则或投票机制选出一个答案。探索式建模与它看起来相似，但前者把“生成互补候选”写进训练目标，后者通常只是对一个普通模型重复采样。

两者的差别类似于临时让一个人把同一道题做五遍，与长期训练一个五人团队分工解题。前者可能得到五份高度相似的答案，后者理论上可以让不同成员稳定覆盖不同方法、假设和错误模式。

| 方法 | 是否改变训练 | 候选如何产生 | 如何选择答案 | 主要瓶颈 | |---|---:|---|---|---| | 单次贪心解码 | 否 | 1 个高概率答案 | 无需选择 | 容易押错单一路径 | | Beam Search | 否 | 保留若干高概率词元序列 | 按序列概率排序 | 候选通常高度相似 | | Best-of-N 推理 | 否 | 对同一模型重复采样 N 次 | 奖励模型或规则打分 | 推理成本随 N 增长 | | Self-Consistency | 否 | 采样多条推理路径 | 对最终答案多数投票 | 少数但正确的答案可能被淹没 | | Best-of-K 探索式训练 | 是 | 训练模型输出 K 个互补候选 | 训练时由真实标签选优 | 部署时没有真实标签可用 | | 强化学习式搜索 | 是 | 按策略采样并探索 | 使用可验证奖励或价值模型 | 奖励设计和训练稳定性 |

Self-Consistency（自洽性采样）是一种通过采样多条推理路径并对最终答案投票的推理策略。它适合正确答案能够形成多数共识的数学和逻辑任务，但如果模型稳定地产生同一种误解，采样 20 次也可能只是把同一个错误重复 20 遍。

探索式训练的潜在优势正是降低候选之间的相关性。K 个答案的价值不在于数量本身，而在于它们是否覆盖了不同的解题路线；四个近乎复制的答案，实际探索宽度仍然接近 1。

K 越大，理论上越容易命中，但成本也越高

Oracle 命中率是指假设存在一个能看到真实答案的完美选择器时，候选集合中至少包含一个正确答案的概率。若单次猜对概率为 p，并且 K 次猜测相互独立，那么 Oracle 命中率为 1-(1-p)ᴷ。

假设单次正确率为 40%，理论上的独立采样结果如下：

| K 值 | 至少一次正确的理论概率 | 相对候选计算量上限 | |---:|---:|---:| | 1 | 40.00% | 1 倍 | | 2 | 64.00% | 2 倍 | | 4 | 87.04% | 4 倍 | | 8 | 98.32% | 8 倍 |

这组数字只是独立性假设下的数学示例，不是原文披露的实测跑分。真实模型的多个候选通常高度相关，因此 K 从 4 增加到 8，不会自然获得从 87.04%到 98.32%的提升；如果八个候选共享同一错误前提，实际收益可能接近零。

候选计算量也不一定严格增长到 K 倍。多头网络可以共享大部分主干计算，只在输出层分叉；自回归语言模型若需要完整生成 K 条长序列，成本则更接近线性增长；使用并行批处理可以降低墙钟延迟，却不能消除显存占用和总浮点运算量。

K 因而不是越大越好的魔法旋钮。合理的 K 应由候选边际收益、选择器准确率、延迟预算和任务价值共同决定，而不是只看 Oracle 指标。

最大的漏洞：训练时能选，部署时谁来选

探索式建模最关键的问题不是如何生成 K 个答案，而是部署阶段如何识别最佳答案。训练时可以把每个候选与真实标签比较，生产环境里的新问题却没有现成标签，否则也不需要模型回答。

验证器（Verifier）是一个负责评估候选答案是否满足事实、规则或任务目标的模型或程序。数学题可以代回结果，代码可以运行测试，SQL 可以在隔离环境检查执行结果，形式化证明可以交给证明器验证，这些场景天然适合“多猜再验证”。

开放式写作、战略分析和事实不完备的问答则缺少可靠验证器。奖励模型可能偏爱措辞完整、语气自信的答案，却无法稳定发现引用错误、前提偷换或看似合理的虚构事实；候选集合即使包含正确答案，选择器也可能把错误答案排在第一位。

Oracle-selector gap 是候选集合的理论最佳表现与实际选择器表现之间的差距。一个系统的 pass@K 达到 90%，但最终 top-1 只有 55%，说明生成器已经把正确答案放进候选，真正拖后腿的是选择器；继续把 K 从 8 提到 16，通常不如先修好验证器。

这也是探索式建模与人类头脑风暴最相似的地方。提出十个方案并不难，难的是用低成本、可重复的标准识别哪个方案值得执行。

对大语言模型而言，实现并不只是改一行 loss

连续输出任务最容易直接使用 Best-of-K。轨迹坐标、姿态预测或低维控制信号都可以计算候选与目标之间的距离，再对距离最小的分支反向传播。

自回归语言模型的离散采样会增加训练难度。模型一旦采样出完整文本，选中哪条序列的操作通常不可直接对生成过程求导，因此工程上需要结合教师强制、序列级强化学习、候选蒸馏或可微近似，而不能简单地把连续回归公式原样套到文本生成上。

强化学习与 Best-of-K 的共同点是都可以在一组候选内部分配训练信号。两者的差异在于，Best-of-K 通常依赖已知目标计算“哪个候选最接近标签”，强化学习则根据环境奖励、规则验证或奖励模型更新策略；后者适用范围更广，但也更容易遭遇奖励投机。

DeepSeek-R1 一类推理模型已经展示了可验证奖励的价值。数学答案、代码测试和格式约束可以提供相对清晰的反馈，模型能够在多条推理路径中逐渐强化有效路线；但这并不意味着开放领域答案也能获得同样可靠的训练信号。

探索式建模也不同于微软亚洲研究院与北京大学在 2026 年讨论的 LTD（Learning to Draft）。LTD 是让草稿模型动态决定推测解码的深度和验证规模，目标是提高单位时间内的有效 token 吞吐量；探索式建模关注的是答案空间覆盖和任务正确率，一个优化“生成得更快”，另一个优化“别把所有筹码押在同一个答案上”。

三个训练陷阱比公式更值得警惕

模式坍塌（Mode Collapse）是多个候选最终变得几乎相同、无法覆盖不同解法的现象。如果模型发现某条路线在大部分训练样本上都能获得较低损失，所有候选头可能一起复制这条安全路线，让 K 个出口退化成同一个出口。

候选饥饿是部分分支长期无法胜出、因而得不到足够梯度的问题。赢家通吃训练会形成“强者更强”的反馈循环：初始化稍好的分支持续被选中，其他分支因为没有更新而越来越差。

捷径学习是模型通过表面模式赢得候选竞争，而没有学到真正可迁移的推理能力。训练集如果存在固定模板、答案长度或格式泄漏，某个候选可能靠捕捉这些捷径获得低损失，离开原分布后则迅速失效。

工程上通常需要加入多样性约束、候选负载均衡、软化的最小损失或分阶段训练。多样性约束负责拉开候选，负载均衡避免单一分支持续垄断样本，软最小值让非赢家也能得到少量梯度，但这些机制都可能反过来损害正确率，因此必须通过消融实验确认收益。

模型还可能学会“为了不同而不同”。如果多样性奖励过强，候选会刻意使用不同措辞甚至制造不同错误，而不是探索有意义的推理路径；对文本任务而言，词汇差异、语义差异和因果路径差异必须分开测量。

评估时不能只报 pass@K

Pass@K 是 K 个候选中至少有一个通过测试或满足答案标准的样本比例。它能衡量生成器覆盖能力，却不能直接代表用户最终看到的答案质量。

一个可上线的探索式系统至少需要同时报告以下指标：

• Top-1 准确率：实际选择器交付给用户的答案有多少正确。
• Oracle pass@K：假设完美选择时，候选集合的能力上限。
• Oracle-selector gap：生成器上限与真实交付效果之间相差多少个百分点。
• 候选有效多样性：不同候选是否采用不同前提、工具和推理路线，而不只是换一种说法。
• 单位正确答案成本：总 token、GPU 时间或推理费用除以最终正确答案数量。
• P50 与 P95 延迟：平均吞吐量无法反映长尾任务对用户体验的影响。

指标应当在模型设计之前确定，而不是训练结束后再挑有利数字。Google 的机器学习工程规则长期强调先设计指标和实验框架，这一点对 Best-of-K 尤其重要，因为只展示 Oracle pass@K 很容易制造一种“模型已经会了，只是没选出来”的虚假繁荣。

哪些产品值得用，哪些不值得

可自动验证且单次失败代价较低的任务最适合探索式建模。代码生成可以并行提出多个补丁并运行测试，数学计算可以代回检查，数据库查询可以在沙箱执行，机器人规划可以先在模拟器淘汰碰撞路线。

高延迟敏感任务不适合无条件扩大 K。实时语音对话、输入法补全和搜索联想更在意首 token 延迟，用户通常也不需要后台生成八个完整答案；这些产品更适合动态分配计算，只对高不确定性请求增加候选。

不可验证的高风险决策更不能把多猜几次当成可靠性保证。医疗、法律和金融建议即使生成 20 个候选，也可能共享同一知识缺口，而一个判断能力不足的选择器还会把表达最自信的错误答案推到最前面。

动态 K 会比固定 K 更有产品价值。简单事实题可以 K=1，代码修复可以 K=4，关键数学证明可以 K=8 或更高；系统应根据模型不确定性、验证成本和任务价值决定是否继续探索，而不是让所有请求支付相同算力账单。

这条路线真正值得关注的地方

探索式建模的价值不在于“多生成几个答案”这个动作，而在于把探索能力从推理技巧变成训练目标。今天大量 Best-of-N 产品仍在调用同一个模型重复采样，候选之间高度相关，算力投入没有等比例转化为新的解题路径；如果训练能让不同候选稳定承担不同策略，推理时扩展的效率才可能真正提高。

探索式建模目前更像一套值得验证的开发范式，而不是已经证明可替代主流训练流程的成熟配方。原文讨论提供了一个简洁方向，但没有给出足以跨任务比较的统一基准、生产成本和选择器成功率，因此现阶段不应把它包装成新的规模定律。

开发团队最现实的起点不是立刻重训一个大模型，而是在现有系统中测量候选相关性与 Oracle-selector gap。若 K=4 的候选确实覆盖了不同正确路线，而且验证器能够稳定选中最佳结果，再考虑用探索式目标改造训练；若四个候选只是同义改写，先解决采样多样性和评价体系更划算。

最终决定这条路线成败的不是模型会不会猜，而是系统会不会判断。让模型拥有多个想法已经不难，让它知道哪个想法值得相信，仍是推理系统最昂贵、也最容易被低估的一环。

参考来源

• Self-Consistency Improves Chain of Thought Reasoning in Language Models：介绍通过多路径采样和答案投票提升复杂推理表现的代表性论文。
• DeepSeek-R1 官方 GitHub 仓库：提供 DeepSeek-R1 的模型说明、评测结果与强化学习推理路线资料。
• verl 官方 GitHub 仓库：面向大语言模型强化学习训练的开源框架，可用于理解组内采样、奖励与策略更新流程。
• Hugging Face TRL：提供监督微调、奖励建模及强化学习后训练工具，是验证多候选训练方案的常用工程参考。