Agnes开源,Agent快了14倍?

Agnes Harness正式开源,通过快慢双系统、测试时训练与受控自进化降低Agent决策延迟和成本。但所谓14倍提升只针对特定决策环节,距离生产级部署仍有明显距离。
Agnes Harness正式开源,但“14倍”需要加限定词
11月20日,Agnes AI Labs开源了面向企业交付与真实世界任务的Agent运行框架Agnes Harness,并同步公布一份11月技术报告。项目采用Apache 2.0许可证,目前在GitHub获得约2100个Star,但官方仍将其标记为Developer Preview和Pre-alpha版本。(github.com)
Agnes Harness是一个负责管理Agent执行、状态、工具、权限和经验复用的运行时系统。 如果把大语言模型看作负责理解和推理的“大脑”,Harness就是把模型接入工具、业务流程和物理设备的执行系统,决定Agent看到什么、何时调用模型、能执行哪些操作,以及失败后如何恢复。
这次发布最吸引眼球的数字,是决策速度最高提升约14.3倍、单次决策成本降至在线大模型的约1/27。不过,这两个数字都不是“整个Agent端到端性能提升14倍”,而是来自两个不同模拟任务中的局部测量:家庭漏水模拟测试的是单步决策延迟,行李房测试比较的是100次决策调用的单位成本。官方技术报告也明确提醒,这些结果不能直接外推到所有Agent任务。(github.com)

双系统决策:别让大模型决定每一件小事
双系统决策是把复杂推理交给大模型,把高频、结构化选择交给小型决策模型的Agent架构。 Agnes Harness将普通LLM视为较慢但通用的System 2,同时引入基于Qwen3.5-9B构建的Agnes Sys1 1.0,负责工具选择、请求路由、分类和顺序评分等判断任务。(github.com)
传统Agent通常让大模型包办几乎全部步骤:读取环境、分析状态、决定调用哪个工具、生成参数、检查结果,再判断是否继续。这个方案实现简单,但大量时间和Token浪费在“从三个已知选项中选一个”之类的问题上。
Agnes的思路更像自动驾驶系统的分层控制。路线规划和异常处理仍需要能力较强的模型,但“继续等待还是读取传感器”“调用A工具还是B工具”这类高频判断,可以交给延迟更低、输出更受约束的决策模型。
官方报告称,在封闭的家庭漏水模拟环境中,Agnes的决策模型平均每步耗时0.53秒,而LLM路线平均耗时7.6秒,对应约14.3倍的速度差距。该表实际覆盖的是8至10个决策步骤,并不是大规模统计,也没有证明所有工具调用都能获得相同加速。(github.com)
在另一项行李房模拟中,双方分别执行100次判断。决策模型的单次成本约为0.000091美元,在线LLM约为0.00247美元,前者约为后者的1/27。这里比较的是“单位决策调用成本”,不包含完整任务中的模型规划、工具运行、重试和基础设施成本。(github.com)
| 指标 | Agnes决策模型 | 在线LLM路线 | 官方报告差距 | 必须注意的限定条件 | |---|---:|---:|---:|---| | 单步决策延迟 | 0.53秒 | 7.6秒 | 约14.3倍 | 家庭漏水封闭模拟,样本步骤有限 | | 单次决策成本 | 0.000091美元 | 0.00247美元 | 约27.1倍 | 行李房任务各100次调用,不是总任务成本 | | 机器狗穿门任务 | 混合双系统 | 全程调用LLM | 总耗时缩短32.9% | 仿真环境结果,不能等同真实机器人部署 | | 入库验收任务 | 第二次少于8分钟 | 首次30分钟超时 | 时间下降超过73% | 依赖任务复盘和已验证Playbook |
双系统真正有价值的地方不是省下一次模型调用,而是把Agent运行频率从“能不能承受”提升到“可以持续运行”。 对客服、审批和软件开发Agent来说,数秒延迟往往还能接受;对机器人调度、工业传感器读取和实时运营系统来说,每一步都等待大型模型生成几十个Token,整个控制链会显得异常迟钝。
但双系统也增加了新的工程问题。开发者需要维护决策选项库、置信度阈值和回退策略;如果工具描述不完整,决策模型可能选错动作;如果阈值过于保守,任务仍会频繁退回LLM,成本优势随即消失。官方报告显示,在一个18步火星基地任务中,提供完整工具规格时可完成18/18次正确决策,而使用简短描述时只完成13至14次,说明系统对工具Schema质量相当敏感。(github.com)
双层自进化:短期适应与长期经验分开处理
测试时训练(TTT)是在模型执行具体任务前或执行过程中,利用当前任务数据进行临时参数适配的方法。 Agnes Sys1的设计不是重新训练完整9B模型,而是计划只调整末端少量校准参数,并在任务结束后恢复,避免不同客户、设备和工作流之间发生参数污染。
这套机制适合解决“模型以前没见过这台设备”的冷启动问题。系统可以围绕当前工具和动作生成带标准答案的练习任务,再让决策模型快速熟悉新环境;任务结束后,临时学习到的参数不继续累积,从而降低灾难性遗忘和跨任务干扰。
不过,Agnes Sys1技术报告目前主要描述了TTT的方法和评估计划,并没有提供经过独立复现的TTT增益数据。技术报告给出的71.2综合指数同样来自团队提供的评估表,报告编写过程中没有重新进行独立测试,因此现阶段更适合把TTT视为待验证能力,而不是已经成熟的性能承诺。(github.com)
递归自我改进(RSI)是让Agent根据历史执行轨迹,持续修改后续任务会使用的提示、流程、记忆和策略数据。 Agnes Harness没有宣称让Agent随意修改模型权重或安全代码,而是把经过验证的改进写入版本化Playbook。
这一区分非常重要。一个能够直接重写执行代码的Agent虽然听起来更“自主”,却也更难审计;Agnes选择让模型提出改进建议,再通过隔离模拟、评估集、人工签署和回滚机制决定是否发布,实际上是在用软件工程的发布流程约束自进化。
官方报告将可修改对象限定为Prompt、工作流、事实规则、决策阈值和其他策略数据,不允许RSI修改模型权重、执行代码、硬件安全保护、评分器、预算与发布门禁。候选Playbook需要在隔离的Twin-world模拟环境中经过训练、评估和密封测试,进入真实环境后还设置200个任务的观察期与统计自动回滚策略。(github.com)
在设备入库验收模拟中,Agent第一次执行时因过早读取称重设备、操作顺序不合理,在30分钟后超时;系统复盘并验证新流程后,第二次将任务缩短到8分钟以内。技术报告还给出了行李房、机械臂单故障、机械臂多故障和入库接收四类封闭测试,优化后的Playbook在多轮独立运行中分别达到9/9或10/10通过,部分任务用时减少44%至75%。(github.com)
这些结果证明了“经验写入Harness”值得继续探索,但尚未证明系统已经获得通用自进化能力。官方明确表示,相关成绩来自Twin-world仿真,不代表真实物理场所的效果,也没有证明优化后的流程可以零样本迁移到不同场景。(github.com)
插件、账本与权限控制才是更值得看的部分
Agent Harness的核心价值是把模型的不确定输出,转换成可记录、可授权、可恢复的工程执行过程。 相比“14倍提速”这个传播性更强的数字,Agnes的事件账本、一次性执行许可和插件版本固定机制,可能对企业部署更实用。
Agnes Harness采用单写入者SQLite事件账本,并通过JSON规范化和SHA-256摘要链记录执行事件。模型可以提出动作,但真正的授权和执行由内核处理;对于结果不明确且不可安全重放的外部操作,系统不会直接重试,而是标记为TOOL_OUTCOME_UNKNOWN并要求人工或程序进行对账。(github.com)
这套设计针对的是Agent最危险的一类故障:模型不知道第一次操作是否成功,于是重复发送邮件、重复提交订单或者重复控制设备。普通聊天任务里,多回答一次问题影响不大;连接支付、仓库和机械设备后,“自动重试”可能直接变成生产事故。
Agnes同时把工具、模型适配器、Agent循环、Web面板、Skills、Hooks、MCP连接和后台服务都设计成插件。新会话可以加载新插件版本,正在运行的会话则继续使用启动时固定的代码版本,避免任务执行到一半时工具行为突然变化。(github.com)
| 维度 | 传统Agent框架 | Agnes Harness当前方案 | |---|---|---| | 决策方式 | 多数步骤直接调用LLM | 决策模型优先,低置信度时回退LLM | | 经验沉淀 | 对话历史或固定Memory | 版本化Skills与Playbook | | 工具扩展 | 在Agent代码中集成 | 插件化工具、循环、面板和模型适配器 | | 外部操作 | 依赖工具自行处理重试 | 事件账本、许可与未知结果对账 | | 自我改进 | 手工修改Prompt和流程 | 隔离评估后发布策略数据 | | 物理设备 | 各设备单独适配 | 计划通过MHS统一描述能力 | | 成熟度 | 视具体框架而定 | Developer Preview,不建议直接生产部署 |
MHS想让Agent走出屏幕,但现在还只是施工阶段
MHS(Model Hardware Standard)是Agnes提出的设备能力描述与调用协议。 它希望让机器人、传感器、机械臂和气闸等设备以统一格式声明状态、动作和返回数据,再由Harness安排多个设备的协作顺序。
MHS与MCP解决的问题并不完全相同。MCP主要连接软件工具和数据资源,MHS则面向具有物理状态和安全约束的硬件;Agnes负责提出任务和请求动作,实时控制、急停、互锁和物理安全仍然必须由设备控制器负责。
这一边界划分是合理的,因为生成式模型不应该成为工业设备的最终安全控制器。但官方仓库也明确表示,MHS仍在作为官方插件接入新版本,当前Agnes Harness不是经过认证的设备驱动系统,取消Harness任务也不能证明设备已经安全停止。(github.com)
9项评测拿下6项第一,但不能只看排行榜
Agent系统评测衡量的是模型、Harness、工具和配置的组合,而不是单独测量某一层。 Agnes报告覆盖9项基准,在团队选定的对照组合中取得6项第一、1项与Codex组合并列第一,其中DeepPlanning得分87.07,BigCodeBench-Hard V1通过率40.69%。(github.com)
这些成绩说明Agnes至少不是只有架构图的概念项目,但比较方式仍需谨慎。报告对比的是Agnes Harness与特定Agnes模型、DeepSeek Harness与特定DeepSeek模型、Codex与特定GPT模型组成的完整系统,因此无法判断分数差异有多少来自底层模型,又有多少来自Harness。
官方也没有隐藏短板。在40项桌面GUI任务中,Agnes只完成9项,低于报告中的两个对照系统;项目当前没有公开安装包和升级承诺,Windows尚未完成端到端测试,普通后端插件也不是隔离运行,而是作为受信任代码在进程内执行。(github.com)
我们的判断:路线是对的,数字还需要外部复现
Agnes最有价值的判断,是Agent效率问题不能只靠更强的大模型解决。 当模型能力达到可用水平后,延迟、成本、状态管理、权限控制、工具描述和经验复用,正在成为决定Agent能否进入生产环境的关键变量。
“14倍提速”不是一个可以直接套用到所有Agent的万能系数。它准确描述的是特定模拟环境中的单步决策延迟差异,而端到端机器狗任务的提升是32.9%;不同指标来自不同实验,不能拼成一个统一的产品性能结论。
“成本降至1/27”同样只适用于结构化决策调用。如果任务的主要成本来自长上下文理解、开放式规划、代码生成或工具执行,那么即使路由判断免费,整体成本也不会下降27倍。
Agnes真正值得关注的是把三件事组合到了一起:用小型决策模型处理高频判断,用LLM处理开放式推理,再把成功经验沉淀为受版本控制的Harness数据。这个组合不如“Agent自己重写自己”听起来激进,却更接近企业真正敢于部署的形态。
现阶段,Agnes Harness更适合研究团队和Agent基础设施开发者试验,而不是直接接管生产系统。项目需要Node.js 24.10及以上版本、pnpm 10.34.5和源码构建流程,官方也明确表示暂不建议直接用于生产环境。(github.com)
如果后续第三方能够复现其延迟、成本和Playbook进化结果,并证明同一套机制能跨设备、跨客户和跨模型迁移,Agnes可能会成为Harness Engineering路线的重要开源样本。反过来,如果改进只能在封闭仿真和特定任务中成立,那么它仍然只是一个设计完整、工程量很大,但泛化能力尚未得到验证的Agent实验平台。
参考来源
- Agnes Harness开源仓库:项目源码、Apache 2.0许可证、插件架构、安装要求、当前状态与安全限制。
- Agnes Harness 2026年11月技术报告:双系统决策、事件账本、受控RSI、模拟实验与9项系统评测说明。
- Agnes Sys1 1.0技术报告:9B决策模型架构、候选概率提取方法、TTT设计及评估范围说明。



