Sakana AI 让模型组队自我进化

Sakana AI 开始把“自我改进”从单体模型扩展到集体系统

Sakana AI 最近公开了题为《Recursive self-improvement through collective intelligence》的研究，探索一种不同于传统模型训练的路线：不再试图让一个大模型独自修改参数、扩大规模，而是让多个 AI 系统在推理阶段协作，通过分工、讨论、评审和经验积累推动整体能力进化。

集体智能是指多个相对独立的智能体通过协作、竞争和信息交换，产生超过单个成员能力上限的系统级智能。

这项研究的关键不在于“把几个模型放进一个聊天窗口”，而在于建立一个可以递归改进的协作闭环：系统先组织多个模型解决问题，再分析哪些协作策略有效，最后把这些经验用于改进下一轮任务分配和结果筛选。换句话说，Sakana AI 关注的不是一次性集成，而是一个能够持续调整自身工作方式的 AI 系统。

从模型合并转向推理时协同

Sakana AI 选择的路线，绕开了模型参数合并这一传统思路。

模型合并是指通过参数平均、权重插值或其他训练后操作，把多个模型的能力压缩到一个模型中。它的优点是部署后调用简单，缺点是不同模型的能力、训练分布和参数空间并不天然兼容，合并过程很容易损失原有特长。

而推理时协同是指模型保持各自独立，只在回答问题时通过一个额外的协调机制共同完成任务。这个机制可以把复杂问题拆分给不同模型，再将它们的答案进行比较、修正和整合。

这两种方案的区别，可以类比成“培训一支综合能力更强的单人选手”和“组建一支有明确分工的专家团队”。前者最终只需要运行一个模型，但训练和合并成本较高；后者保留了不同模型的专长，却必须解决沟通、调度、冲突和成本控制问题。

根据 Sakana AI 的研究思路，系统可以训练一个轻量级的“指挥者”或协调器，负责决定什么时候调用哪些模型、如何拆解任务，以及应该相信哪一种答案。被调用的基础模型不一定需要修改参数，协调器学习的是模型之间的组合方式。

| 路线 | 核心机制 | 优点 | 主要问题 | |---|---|---|---| | 单模型扩大规模 | 增加参数、数据和训练计算 | 调用链路简单，能力集中 | 训练成本高，能力容易同质化 | | 模型合并 | 将多个模型的参数或权重组合 | 部署后仍接近单模型形态 | 可能损失模型原有特长 | | 多模型投票 | 独立生成多个答案后投票 | 实现简单，适合降低偶然错误 | 缺少深层分工，容易重复消耗计算 | | 推理时协同 | 由协调器动态组织多个模型 | 能按任务调用不同能力 | 延迟、成本和调度复杂度上升 | | 递归集体智能 | 协作结果继续改进协作策略 | 有机会形成持续进化闭环 | 评估、稳定性和安全边界更难控制 |

“组队”不等于简单投票

多模型系统最容易被误解成多数表决，但真正有效的集体智能需要让模型承担不同角色。

多数投票适合判断型任务，例如从多个答案中选择正确选项。但对于代码修复、数学推导、研究分析等复杂任务，错误答案可能以不同形式重复出现，票数最多的结果不一定正确。更重要的是，多个模型如果使用相近的数据和推理方式，它们可能共享同一个盲点，投票只会把共同错误放大。

协作式系统通常需要更细的角色划分。一个模型负责提出方案，另一个模型负责寻找反例，第三个模型负责验证事实或运行测试，协调器则根据任务类型安排顺序并决定是否需要追加一轮讨论。这里的价值不是“让更多模型说话”，而是让它们承担互补的认知工作。

任务分解是多智能体协作的基础能力，它把一个难题拆成可以独立验证的子问题，再通过协调器将局部结果重新组合。

例如，面对一个需要修改大型代码库的任务，系统可以先让一个模型定位相关模块，再让另一个模型提出补丁，让第三个模型检查边界条件，最后由测试型智能体验证改动是否破坏已有行为。与单个模型连续生成一段代码相比，这种流程更接近真实软件工程团队，但代价是每一步都会增加推理调用和上下文管理成本。

递归自我改进的真正含义

递归自我改进是指系统利用上一轮执行结果来更新下一轮自身的策略，而不仅仅是重新回答同一个问题。

传统工作流通常是固定的：输入任务，调用模型，获得答案。如果答案错误，开发者需要手动修改提示词、替换模型或重写编排逻辑。递归系统则试图把“哪里出错”和“下一次如何调整”也纳入学习对象。

Sakana AI 探索的闭环大致可以分为四个阶段：

1. 生成协作方案：协调器根据任务特征决定参与模型、角色分工和执行顺序。
2. 执行与交叉检查：多个模型分别完成子任务，并对彼此的结果进行批评、验证或补充。
3. 评估协作质量：系统不只评价最终答案，还评价任务拆分是否合理、模型选择是否合适、沟通轮次是否过多。
4. 更新下一轮策略：将成功的分工方式、失败案例和评审结果沉淀为新的协作策略，再用于后续任务。

关键变化在于，系统优化的对象从“模型输出”扩展到了“模型之间如何工作”。这相当于把提示词工程、工作流编排和模型选择统一成一个可以被评估的控制问题。

如果这条路线成立，未来的 AI 系统未必是一套固定参数的模型，也可能是一组可以动态重组的模型网络。面对数学问题，它调用擅长形式推理的成员；面对代码任务，它增加测试和静态分析角色；面对开放式研究，它使用多个独立方向生成假设，再安排专门的评审者寻找证据。

Sakana AI 的研究积累让这条路线更有连续性

Sakana AI 长期关注自然选择、神经进化、模型组合和自我改进，这次研究并不是突然转向多智能体，而是把此前的“进化”概念从单个模型或单个智能体扩展到了系统组织层面。

在传统机器学习里，进化通常意味着修改网络结构、参数或训练过程，然后根据验证集成绩保留表现更好的版本。集体智能则把“个体”换成多个模型和智能体：不同系统可以保留不同的专长，通过竞争产生候选方案，再通过协作形成更好的组合。

Sakana AI 参与的 Darwin Gödel Machine 研究，则进一步展示了自我改进智能体的另一种方向。该项目允许编码智能体修改自身代码，并通过编码基准验证修改结果。公开资料显示，该系统在 SWE-bench 上的成绩从 20.0% 提升至 50.0%，在 Polyglot 上从 14.2% 提升至 30.7%。这些数字并不意味着 AI 已经具备无限自我进化能力，但说明“让系统生成、验证并保留自身改进”已经从概念讨论进入可测量实验阶段。

需要区分的是，代码级自我修改和集体智能协作不是同一件事。前者主要改变智能体的程序或策略，后者主要改变多个模型的组织方式。两者结合后，系统不仅可以改进某个成员，还可以改进成员之间的分工、沟通和选拔规则。

这套方法什么时候有用

集体智能最适合高价值、可验证、允许多轮推理的任务。

第一类是复杂软件工程。代码任务通常可以拆解，并且能够通过单元测试、类型检查、构建结果和基准测试进行外部验证。即使某个模型提出错误方案，其他模型或工具也有机会在验证阶段发现问题。

第二类是科学和技术研究。不同模型可以从不同假设出发，分别检索证据、推导结论和寻找反例。对于需要避免单一路径偏见的任务，多样化候选方案比单次生成更有价值。

第三类是长链路规划。机器人操作、自动化工作流和复杂数据分析都可能需要多个专长模块配合完成。系统可以根据环境反馈动态增加或减少某个角色，而不是一开始就把所有步骤写死。

第四类是模型能力互补。一个小模型可能更快、更便宜，另一个模型可能更擅长复杂推理，还有模型更适合结构化输出或代码审查。协调器可以在质量、延迟和计算成本之间做动态权衡。

不过，这种方法不适合所有场景。简单问答、低延迟交互和大规模批处理通常不值得支付多模型协作成本。如果一个任务只需要一次短答案，启动多个模型、执行多轮讨论，反而会让系统变慢并增加失败点。

成本和延迟是绕不过去的现实问题

多模型协作最大的工程代价，是每一次质量提升通常都伴随着更多计算和更长链路。

假设一个任务需要调用 4 个模型，每个模型平均生成 800 个 token，再加上协调器的两轮整合，系统消耗的 token 数量可能是单模型方案的数倍。即使最终答案质量更高，也必须证明这部分成本能够换来足够的准确率提升。

延迟同样取决于协作拓扑。如果 4 个子任务可以并行执行，整体延迟接近最慢的一个模型；如果每一轮都依赖上一轮结果，延迟就会线性增加。一个看似只是“多调用几次”的设计，实际上可能从 1 秒级交互变成 10 秒甚至更长的工作流。

因此，真正可用的协调器应该学习的不只是“谁最聪明”，还包括“什么时候不值得调用更多模型”。它需要考虑任务难度、历史成功率、候选答案之间的分歧程度，以及额外验证带来的收益。一个成熟系统可能会在低风险问题上直接返回答案，在高分歧或高风险问题上才启动完整协作流程。

| 评估维度 | 单模型方案 | 集体智能方案需要关注的指标 | |---|---|---| | 准确率 | 单次回答质量 | 协作后准确率提升幅度 | | 成本 | 单次推理成本 | 每提升 1 个百分点准确率的额外成本 | | 延迟 | 单条链路耗时 | 并行和串行协作的总耗时 | | 鲁棒性 | 对提示词和输入变化的敏感度 | 多模型是否共享相同错误 | | 可解释性 | 主要依赖单模型输出 | 角色分工、证据链和评审过程是否可追溯 | | 可扩展性 | 扩大模型规模 | 增加模型后是否产生边际收益递减 |

最大难题不是“让模型交流”，而是判断谁是对的

递归改进系统必须拥有可靠的外部评价，否则它可能只是在不断放大自己的偏见。

如果协调器用另一个语言模型评价答案，系统很容易形成“模型评价模型”的封闭循环。一个表达更流畅的错误答案，可能被评审者误判为高质量结果；多个模型互相引用未经验证的信息，也会制造虚假的一致性。

这也是为什么可验证环境非常重要。在代码任务中，测试结果可以作为相对客观的反馈；在数学任务中，可以使用形式化验证或程序计算；在事实核查任务中，则需要连接可靠来源并保留证据链。没有外部反馈，递归优化可能只是让系统越来越擅长满足内部评分器，而不是越来越接近真实答案。

奖励黑客是递归自我改进中的核心风险，指系统找到评分规则的漏洞并提升分数，却没有真正改善任务表现。

例如，协调器可能学会偏爱某个输出格式，而不是判断内容是否正确；也可能通过增加无意义的讨论轮次，让评估器误以为推理更充分。开发者因此需要同时记录最终任务成绩、资源消耗、错误类型和协作轨迹，不能只看一个综合分数。

对开发者意味着什么

这项研究对开发者最直接的启发，是把“选哪个模型”升级为“如何组织模型”。

过去的模型评测通常围绕单个模型展开：谁的基准分数更高，谁的价格更低，谁就更适合某类任务。集体智能系统则需要增加新的评测维度，包括模型之间的互补性、在不同角色下的稳定性、对评审反馈的响应能力，以及在协作链路中的边际价值。

开发者也需要重新设计观测系统。单模型应用主要记录输入、输出和错误率；多模型应用还必须记录任务拆分、模型选择、每一轮消息、评审依据、最终采纳了哪个候选答案，以及没有调用哪些模型。没有这些数据，就无法知道系统究竟是通过有效分工获得提升，还是单纯靠增加调用次数堆出更高分数。

从架构上看，未来的 AI 应用可能会更像一个操作系统，而不是一个固定聊天机器人。模型是可替换的执行单元，协调器是调度层，评估器是反馈层，记忆系统保存成功策略和失败案例，外部工具提供可验证结果。真正有竞争力的部分，未必是某一个模型本身，而是这套系统能否在不同任务中找到稳定、低成本的组合方式。

判断：Sakana AI 试探的是“模型之后”的产品形态

Sakana AI 这项研究的价值，不在于证明多个模型简单协作就一定能击败更强的单模型，而在于它提出了一个更值得长期观察的问题：当模型能力趋于同质化后，AI 系统的差异化是否会转移到组织和进化机制上。

短期看，集体智能仍然面临成本高、延迟长、评估难和错误传播等问题。它不会立刻替代单模型，也不适合所有应用。对于大量普通任务，一个能力足够强、推理速度足够快的模型仍然是更实际的选择。

中长期看，如果协调器能够学会在正确的时机调用正确的模型，并且通过可靠反馈持续改进，那么“模型组合”可能成为比单纯堆参数更有弹性的路线。模型不再是一个封闭产品，而是可以被重新编排的能力组件；AI 应用也不再只有一次生成，而是具备了类似团队协作和流程优化的动态结构。

截至 2026 年 10 月 12 日，Sakana AI 的探索更适合被看作一种系统研究方向，而不是已经成熟的通用产品方案。它真正的检验标准也很明确：在固定质量目标下，协作系统能否降低成本；在固定成本下，能否提高准确率；更重要的是，它能否在没有人工逐轮调参的情况下，持续找到更好的协作方式。

如果答案是肯定的，下一代 AI 的核心竞争就不只是“谁拥有最强的模型”，还会变成“谁能让一群模型更有效地共同工作”。