翁荔：AI自进化的第一步，是重写评测层

翁荔昨天更新了博客，标题很朴素——《Self-Evolution Starts with the Harness》。核心观点一句话就能讲完：如果你想让 Agent 真正自我进化，别急着改模型权重，先把评测框架（Harness）改了。

DeepSeek 的崔添翼几乎是第一时间转发，附了一句「这个方向很容易出成果」。两位分别来自前 OpenAI 和 DeepSeek 的研究者在同一件事上达成共识，这在最近的技术圈里不算常见。

一、Harness 是什么，为什么突然被拎出来说

先把名词摊开。Harness 在 Agent 语境里，指的是那一层「跑分脚手架」——它决定了模型怎么被喂任务、工具怎么被暴露、每一步的输出怎么被判定成功或失败、reward 怎么回传。你可以把它理解成健身房里的那台跑步机：模型是跑步的人，Harness 是跑步机本身，包括速度、坡度、心率监测、以及那块告诉你「你今天跑得比昨天差」的屏幕。

过去两三年，行业的所有注意力都在跑步的人身上——预训练数据加了多少 Token、SFT 用了什么配方、RLHF 换成了 GRPO、DPO 又被 KTO 取代。但跑步机本身，几乎没人动过。大家用的还是 SWE-Bench、GAIA、AgentBench 那一套，评测集写死在 YAML 里，pass@1 一算就完事。

翁荔的判断是：这层不动，模型就没法真自进化。

二、翁荔的具体主张

博客里她讲了几个层面，我把它翻译成开发者能直接对齐的语言：

1. Harness 要能自我迭代

现在的评测框架是静态的——题目固定、判分固定、环境固定。模型一旦在训练中「学会」了这套 Harness 的 pattern，分数就会虚高，实际能力停滞。翁荔的思路是让 Harness 本身变成一个可进化的对象：题目动态生成、判分标准可以被 LLM 反思修正、环境状态随时间漂移。

这有点像 AlphaGo 从监督学习进到自我对弈的那一步——只不过这次自我对弈的不是策略，是考题。

2. Reward 信号要从 Harness 层析出来

她特别强调，很多 RL 训练失败不是算法问题，是 reward 太糙。一个 SWE-Bench 任务跑完，只告诉你 pass 或 fail，中间十几步的工具调用全都被压缩成一个 0/1 标签，这对 credit assignment 是灾难。Harness 如果能提供细粒度的过程 reward——哪一步选错了 API、哪一步的 grep 参数写歪了——训练效率会有数量级的差别。

3. Harness 是 Agent 训练闭环的第一块拼图

她画了一个循环：Harness 生成任务 → Agent 执行 → Harness 判分并反思 → Harness 更新自己 → 新一轮任务。模型在这个闭环里被优化，但真正决定天花板的是 Harness 的进化速度。

三、崔添翼为什么说「容易出成果」

这句话我琢磨了一会儿。DeepSeek 那边这半年一直在推 R2 系列的 Agent 能力，他们内部对训练 pipeline 的痛点应该比谁都清楚。「容易出成果」翻译过来大概是三个意思：

• 门槛比重训模型低。改 Harness 不需要 H100 集群，一个中等规模团队就能跑。
• 收益可测量。同一个 base model，换一套更细的 Harness，跑 SWE-Bench 就能直接看出差异。
• 学术上还是蓝海。今年 NeurIPS、ICLR 收的 Agent 论文大多在拼 prompt、拼 workflow，专门做 Harness 的极少。

换句话说，这是一个投入产出比极高、但被大部分团队忽视的方向。

四、和目前主流做法的对比

我拉了一下最近几个月比较火的 Agent 训练工作：

| 项目 | 关注点 | Harness 层是否可变 | |------|--------|------| | OpenAI o-series | 长链推理 + RL | 基本固定 | | Anthropic Fable 5 | 工具使用 + 安全对齐 | 固定 | | DeepSeek R2-Agent | 代码生成闭环 | 部分可变 | | 学术界 self-play agents | 策略自我博弈 | 极少涉及 |

可以看到，Harness 作为一个可优化对象被系统性提出，翁荔这篇算是把话挑明了。

五、对开发者的实际意义

如果你现在正在做 Agent 应用或者内部微调，读完这篇博客可以立刻做几件事：

1. 把你的评测集看成活的。别用一个 100 道题的固定集合跑几个月，写一个题目生成器，让它每周产出新题。
2. 给每一步工具调用打细粒度标签。哪怕不做 RL，光是能定位「Agent 在哪一步开始跑偏」，也够你 debug 很久了。
3. Harness 和模型解耦。别把判分逻辑写在 prompt 里，抽成独立服务，方便替换、AB、以及后续接 RL。

六、一个我个人的看法

过去一年半，行业里有一种默认假设：只要基础模型继续变强，Agent 能力自然会跟上。Claude Fable 5 在 SWE-Bench Pro 上打到 80% 之后，这套假设看起来更成立了。

但翁荔这篇博客提醒的是另一件事——你能测出来的能力，才是能被优化的能力。Fable 5 之所以能刷到 80%，本质上是因为 Anthropic 内部有一套比 SWE-Bench 复杂得多的私有 Harness 在长期喂它。外界看到的是模型强，实际强的是那套没公开的评测基础设施。

所以未来一段时间，我判断会出现两拨玩家：

• 一拨继续卷模型规模、卷 RL 算法；
• 另一拨，安安静静地卷 Harness——写题目生成器、写过程判分器、写环境模拟器。

第二拨人短期不会有 headline，但一两年后回头看，大概率是他们把 Agent 真的做到了「能干活」。

翁荔和崔添翼都盯上了这个方向，本身就是一个信号。

参考来源

（本次话题相关的一手博客与转发讨论主要发布在 X 与个人博客上，公开的中文技术社区尚未有深度讨论沉淀，暂无符合白名单的国内可访问链接可附。后续如 zhihu 或 juejin 出现高质量解读，会在评论区补充。）