RLVR 提分的隐藏账单

11 月 2 日，一篇讨论 RLVR 能力边界的新研究在机器学习社区引发关注。论文给出的结论相当直接：**当模型内部的解题策略存在排他性专化时，任何提高 pass@1 的 RLVR 更新，都必然降低至少一个提示词的成功率。**这不是训练轮数不够，也不只是 GRPO 的实现缺陷，而是概率质量重新分配带来的结构性代价。(reddit.com)

这项研究没有训练新模型，而是试图回答一个在过去一年反复出现的问题：为什么经过 RLVR 训练的模型往往第一次回答更准，但允许采样几十次、几百次后，基础模型反而能够追上甚至超过它？作者把这个现象从经验观察推进成了一组带条件的数学定理，并提供了代码验证包与浏览器诊断工具。

**我们的判断是，这篇论文最大的价值不是宣布 RLVR 无效，而是逼着开发者重新定义什么叫模型变强。**如果评测只看 pass@1，模型确实可能明显更好用；但如果产品依赖候选生成、搜索、Best-of-N、自动修复或多代理投票，那么被 RLVR 压低的低概率策略，很可能正是系统需要保留的探索能力。

先说清楚：pass@1 和 pass@k 测量的不是同一种能力

**pass@1 是模型只生成一次时得到正确答案的概率。**它更接近聊天机器人、实时问答和低延迟应用的实际体验：用户问一道题，模型第一次能不能答对。

**pass@k 是模型独立生成 k 次后，至少有一个答案正确的概率。**如果某个提示词单次成功率为 p，在独立采样的理想情况下，它的 pass@k 可以写成 1-(1-p)^k。因此，pass@k 不只取决于模型最常输出什么，也取决于正确解法是否仍然保留在概率分布的长尾里。

两者的区别可以类比成考试与搜索。pass@1 测量的是学生第一次落笔能否写对；pass@k 测量的是给学生 k 张草稿纸、允许尝试不同思路后，最终能否碰到正确路线。RLVR 经常让第一张草稿更可靠，却可能把一些不常见但有效的思路压到几乎采样不到。

| 指标 | 关注的问题 | 更接近的产品场景 | 可能被忽略的风险 | |---|---|---|---| | pass@1 | 第一次回答是否正确 | 聊天、实时助手、单次代码补全 | 看不到策略多样性下降 | | pass@k | k 次生成中是否至少一次正确 | Best-of-N、搜索、代码修复、候选重排 | 推理成本随 k 增加 | | 每题成功率分布 | 哪些提示词变好、哪些变差 | 模型回归测试、路由与安全评估 | 平均分会掩盖局部退化 | | 输出熵 | 模型还保留多少生成多样性 | 创意生成、搜索型代理 | 高熵不等于高质量 |

**只报告 pass@1，相当于只看模型最常走的那条路，却没有检查其他道路是否已经被封死。**这也是论文建议评测团队同时报告 pass@k 价格、曲线交叉次数和逐提示词变化的原因。

RLVR 做的事情，更像重新分配筹码

**RLVR 是使用可自动验证奖励训练生成模型的强化学习方法。**数学题可以核对最终答案，代码题可以运行测试用例，逻辑任务可以使用规则检查器，因此系统能够低成本地产生大量二元或离散奖励。

论文把 RLVR 抽象成基础策略上的“指数倾斜”。简单说，基础模型内部已经存在多种解题策略，每种策略在不同提示词上的有效性不同；强化学习根据平均奖励提高高收益策略的概率，同时降低低收益策略的概率。

这个过程像基金经理调仓。模型的总概率质量只有 100%，给某种高回报策略增加 10 个百分点，就必须从其他策略拿走 10 个百分点。问题在于，不同策略并不是对所有提示词都同样有效：一种策略可能擅长代数题，另一种策略可能只在组合题或极端边界条件上有用。

**策略专化是指不同解题策略分别覆盖不同提示词或问题区域，而不存在一条策略能够无损替代其他所有策略。**在这种情况下，被整体奖励判断为“平均收益较低”的策略，仍可能是某些提示词唯一可用的解法。

论文使用的指数倾斜模型对镜像下降是精确描述；作者还报告，在匹配熵的模拟实验中，GRPO 策略与这一倾斜模型的总变差距离不超过 3×10^-4。这个结果说明抽象并非完全脱离常见 RLVR 优化器，但它仍然只是模拟中的机制验证，不能直接等同于真实大模型训练全过程。(reddit.com)

“没有免费午餐”究竟证明了什么

**论文的核心定理证明，在排他性或足够强的支配型策略专化条件下，每一次 pass@1 增益都必须由某些提示词的成功率下降来支付。**这里的“必然”有明确前提，并不是对所有神经网络、所有数据集和所有强化学习算法的无限外推。

所谓排他性专化，可以理解为存在一组提示词，只有某个特定策略能够解决。如果强化学习降低了这个策略的概率，那么这组提示词就没有其他策略可以接管。即使全局平均准确率提高，这些提示词也会严格退化。

论文进一步用 Stiemke 对偶刻画了“价格”的精确条件：如果能够给每个提示词分配一个严格为正的权重，使所有策略在加权后的适应度相同，那么任何试图提高平均 pass@1 的更新，都不可能保证所有提示词不退化。

这段数学结论可以翻译成一句产品语言：**当测试集里的每类问题都代表一种不可忽略的需求时，优化平均分就是在不同用户需求之间重新定价。**某些需求权重上升，另一些需求就会成为成本承担者。

研究还刻意构造了一个 3×3 反例，说明“每个策略至少在一道题上排名第一”并不足以证明没有免费午餐。一个接近通用的策略仍然可能接过其他策略释放的概率，同时让所有提示词不退化。真正关键的不是谁拿第一，而是不同策略之间能否互相替代。

代码验证包报告，排他性专化实验在 1000/1000 个实例中均出现无免费午餐约束，支配型专化在 2000/2000 个实例中成立，Stiemke 原问题与对偶问题在六类生成器上达到 100% 一致。作者还提供了固定随机种子的检查脚本，对论文引用的 34 项数值与不变量逐项验证。(github.com)

pass@1 提升，不等于 pass@k 一定马上下降

**逐提示词退化是核心定理，而总体 pass@k 曲线发生交叉还需要额外的“细覆盖”条件。**这一区分很重要，因为论文标题很容易被误读成“只要 pass@1 上升，任何数据集上的大 k 表现就一定下降”。

细覆盖条件要求，损失最终能够传导到最困难的提示词，也就是基础模型单次成功率最低的长尾区域。如果这些困难提示词依赖的策略正好在强化学习中被削弱，那么随着 k 增大，基础模型保留的低概率正确路线会逐渐显现，最终超过 RLVR 模型。

如果困难提示词还有一个适应度较高的备用策略，局部退化就可能发生在中等难度问题上，而不是最难的长尾。此时平均 pass@1 仍然提高，也确实有提示词变差，但两条 pass@k 曲线未必发生交叉。

| 结论 | 是否无条件成立 | 所需条件 | 实际含义 | |---|---|---|---| | 某些提示词成功率下降 | 否 | 排他性或支配型策略专化 | 平均提分会制造局部回归 | | 大 k 时基础模型反超 | 否 | 策略专化加细覆盖 | 被削弱策略影响最困难长尾 | | pass@k 只交叉一次 | 否 | 提示词难度变化保持顺序 | 常见的先领先、后反超形态 | | 禁止所有提示词退化后仍提分 | 在专化条件下不可行 | 每题成功率不得低于基础模型 | 不付价格就得不到 pass@1 增益 |

**论文还给出了 pass@k 曲线交叉次数的紧上界。**交叉次数不会超过逐提示词成功率分布变化的符号变化次数；在难度顺序保持不变的常见情形下，通常只会出现一次交叉。

验证包在 3000 个随机实例中没有发现一次上界违规，并构造出了恰好发生 1 至 6 次交叉的实例；在 1035 个保持难度顺序的实例中，单交叉结构全部成立。这意味着多次交叉并非数学上不可能，但它通常暗示强化学习不只是统一地“锐化”模型，而是在重新排列不同提示词的相对难度。(arxiv.org)

一组真实曲线，把代价写得很清楚

**论文使用一组已发表的 Qwen2.5-7B 在 Omni-MATH 上的 GRPO 评测数据作为经验锚点。**作者明确提醒，这些数字是从原始表格转录而来，只能作为指示性案例，不能替代重新运行实验。

| k | 基础模型 pass@k | GRPO 模型 pass@k | GRPO 相对变化 | |---:|---:|---:|---:| | 1 | 0.102 | 0.251 | +0.149 | | 4 | 0.224 | 0.368 | +0.144 | | 16 | 0.392 | 0.496 | +0.104 | | 64 | 0.578 | 0.608 | +0.030 | | 256 | 0.691 | 0.683 | -0.008 |

**这组数据展示了典型的搜索压缩，而不是明显的能力边界扩张。**GRPO 把 pass@1 从 10.2% 提高到 25.1%，增加 14.9 个百分点；但优势随着采样次数增加持续缩小，在 k=64 时只剩 3 个百分点，并在 k=64 与 k=256 之间发生反转。

换一种说法，基础模型原本需要通过多次采样才能找到的正确路径，被 RLVR 提升成了更高概率路径，因此第一次回答显著变好。但 RLVR 没有同步扩大所有可达解法的集合，甚至压低了部分困难问题所需的稀有策略，所以大规模采样后优势消失。

这并不意味着 14.9 个百分点的 pass@1 增益没有价值。对每次只生成一个答案的产品而言，把已有能力从“偶尔能答对”压缩成“第一次更容易答对”，本身就是重要的工程收益。问题只在于，开发者不能把这种收益自动解释成模型学会了同等规模的新推理能力。

真正值得关注的是“价格前沿”

**论文提出的价格前沿，是在 pass@1 增益与最坏 pass@k 损失之间能够达到的最优交换曲线。**开发者可以为每个提示词设置一个最低成功率下限，再求解在不突破该下限时能够获得的最大 pass@1。

当下限较宽松时，优化器可以大幅集中概率，pass@1 增益更高，但最坏提示词和大 k 表现付出的价格也更大。当下限逐渐收紧时，模型保留更多长尾策略，pass@1 增益随之缩小。

当下限被设为基础模型的 100%，即不允许任何提示词退化时，论文证明在策略专化条件下，pass@1 增益也会降为零。研究在 400 个严格约束实例中全部得到零交叉和近似为零的中位 pass@1 增益。

**这个结论对“加一个多样性奖励就能同时提升所有指标”的说法泼了冷水。**多样性奖励确实可能让一个过度集中的 GRPO 模型同时提高 pass@1 和 pass@k，但这通常意味着原来的更新没有位于最优价格前沿，而不是说明权衡已经消失。

优化器可以少交一点价格，却不能在理论条件成立时把价格彻底免掉。更好的算法解决的是“同样的 pass@1 增益，如何少伤害长尾”，而不是凭空创造无限概率质量。

对 RLVR 训练团队，最实用的建议是改变评测表

**训练团队应该把逐提示词成功率视为一等评测数据，而不是只保存聚合后的平均准确率。**论文提供的诊断工具只需要两列数据：基础模型和 RLVR 模型在每个提示词上的成功率。

诊断工具能够输出三类结果：pass@k 曲线的交叉次数、基于符号变化得到的交叉上界，以及最坏 pass@k 损失，也就是这次 pass@1 增益实际支付的价格。GitHub 仓库要求 Python 3.10 以上，只依赖 NumPy、SciPy 与 Matplotlib，全程使用 CPU，不需要加载或运行语言模型。(github.com)

建议至少在训练报告中增加以下指标：

• pass@1 增益：衡量单次生成的可靠性提升。
• 大 k 的 pass@k 变化：观察能力覆盖范围是否收缩。
• 最坏提示词退化：避免平均分掩盖关键任务回归。
• 价格：记录基础模型相对 RLVR 模型最大的 pass@k 优势。
• 交叉点 k*：判断需要多少次采样后基础模型开始反超。
• 交叉次数：识别统一锐化还是复杂的难度重排。
• 熵与答案多样性：确认概率集中是否已经过度。

**产品团队还应根据推理时的真实采样预算选择模型。**如果线上固定只生成一次，pass@1 更高的 RLVR 模型通常更实用；如果系统会生成 32 个代码补丁、256 条证明路线或大量代理候选，再由验证器筛选，那么大 k 表现和策略覆盖可能比第一次命中率更关键。

这篇论文不能证明 RLVR 永远学不会新推理

**这项研究描述的是共享策略集合上的概率重分配，而不是对现实大模型内部机制的完整还原。**作者自己也把共享策略模型称为总体极限抽象，并明确指出论文没有进行新的模型训练。(reddit.com)

真实训练可能改变表示空间、生成新的中间推理结构，或者把原本无法组合的行为片段连接成新策略。如果训练过程真的扩展了策略集合，而不是只在固定集合上重新分配概率，那么论文的固定策略抽象就不足以覆盖全部现象。

验证器设计也会改变结论的适用范围。最终答案奖励、过程奖励、代码测试、形式化证明检查器和带提示的交互环境，会产生不同的学习信号。尤其当外部工具、搜索环境或课程学习让模型接触到新状态时，“能力边界不扩张”不能仅凭一条 pass@k 曲线下结论。

**因此，最准确的解读不是“RLVR 让模型更快但绝不会更聪明”，而是“仅凭 pass@1 上升，不能证明模型获得了新的可达能力”。**要证明能力扩张，研究者需要展示基础模型在足够大的采样预算下仍无法到达、而 RLVR 模型可以稳定到达的新解法，并控制提示、长度、计算量和验证器差异。

RLVR 的价值没有消失，但评估方式必须升级

**RLVR 最确定的价值，是把低概率的正确行为变成高概率的默认行为。**对聊天助手、数学答题和单次代码生成而言，这种“搜索压缩”能直接降低延迟与推理成本，不需要等同于创造全新能力才算成功。

**RLVR 最容易被高估的地方，是把模型变得更可靠描述成模型边界被同步拓宽。**当 pass@1 上升、输出熵下降、pass@k 曲线最终被基础模型反超时，更合理的解释通常是模型学会优先选择已有的高回报策略，同时放弃了一部分低频策略。

这篇论文最终给开发者的提醒很朴素：优化平均表现之前，先决定哪些提示词可以成为代价。对于通用聊天模型，这个答案可能是“尽量没有”；对于专门的数学求解器，团队可能愿意牺牲开放写作能力；对于代码代理，则可能宁愿降低单次补全分数，也要保留更多能通过隐藏测试的候选路径。

**RLVR 不是免费午餐，但价格可以被测量、被约束，也可以根据产品需求主动选择。**相比笼统争论强化学习究竟有没有创造智能，这套价格视角更接近工程现实：模型优化从来不是只看涨了多少分，还要看这部分分数究竟从哪里拿来。

参考来源

• Reddit：作者发布的研究介绍与适用范围说明：包含研究动机、核心假设、GRPO 模拟误差及 Omni-MATH 交叉点说明。
• GitHub：No Free Lunch in RLVR 代码与验证包：包含论文源码、诊断脚本、固定随机种子实验及 34 项数值检查。
• Hugging Face：pass@k Price 浏览器诊断工具：可直接输入基础模型与 RLVR 模型的评测数据，查看交叉与价格指标。