混合推理省下一半Token

智能体不必把每一步思考都写出来了

一篇近期发布的论文提出了HybridAgent：一种能在连续潜空间推理与离散文本交互之间动态切换的大模型智能体架构。研究团队在3种模型规模、11项数学、科学、医学、搜索和智能体推理基准上测试后称，HybridAgent平均性能提高10.4%，Token使用量减少35.5%—54.7%，端到端推理速度提升至1.8—2.6倍，估算计算成本则降低至原来的约1/2.7—1/3.7。

这项工作的关键并不是简单要求模型“少输出几句思维链”，而是试图改变智能体内部处理信息的方式。今天的大多数LLM Agent无论是在做数学题、规划搜索路径，还是决定下一次调用什么工具，都需要先把中间推理转换成一个个文本Token；HybridAgent则允许模型在不需要与外界沟通时直接处理连续隐藏状态，只在需要调用工具、查询环境或给出答案时重新回到文本模式。

**混合推理是让模型在潜空间计算和文本生成两种推理模式之间切换的架构。**文本适合人类检查，也适合连接搜索、代码执行器和其他外部工具；潜空间则不必经过词表分类、Token采样和文本再编码，可以用更紧凑的连续表示传递中间状态。

如果论文结果能够在独立测试中复现，HybridAgent的价值会比“再做一个推理模型”更直接。智能体产品当前最突出的问题之一，就是任务越复杂，中间轨迹越长，延迟和推理成本越难控制；把不需要展示的推理留在潜空间，相当于减少了智能体反复把内部状态翻译成人类语言的工作。

为什么文本思维链越来越贵

**文本思维链是模型把中间推理过程显式生成为自然语言Token的方法。**它的优势是可读、可记录，也能直接插入工具调用，但每生成一个Token，模型通常都要完成一次自回归前向计算，再从词表概率分布中选择下一个Token。

传统智能体因此面临一个结构性浪费：模型为了决定“接下来搜索什么”，可能先生成数百个Token；搜索结果返回后，它又要把已有思路、工具结果和下一步计划重新组织成文本。在长任务中，这类中间文本未必会展示给用户，却照样占用上下文窗口、推高首字延迟之后的生成时间，并形成可计费的Token。

纯潜空间推理并不是全新的方向，但它一直难以直接用于完整智能体。模型可以在隐藏状态中反复计算，却很难稳定地从连续表示切回格式严格的工具指令；如果整个过程都不可见，开发者也难以判断模型为什么搜索、何时偏离任务，以及具体在哪一步失败。

HybridAgent的取舍更务实：需要思考时使用潜空间，需要行动时生成文本。这个设计保留了文本智能体容易接工具、容易审计的优点，同时把部分冗长的内部推演移出显式Token序列。

HybridLink负责连接两种模式

**HybridLink是连接模型隐藏状态与Token嵌入空间的轻量模块。**它让同一个主干模型不必结束当前任务或重新读取全部上下文，就能从文本生成进入潜空间推理，再从潜空间回到可解码的文本序列。

这一步决定了混合架构能否真正用于Agent。潜空间里的向量不能直接发送给搜索引擎，也不能充当工具参数；模型必须在恰当时机把内部状态转换成明确的动作，例如形成搜索查询、选择工具或生成最终回答。反过来，工具返回的文本结果也需要被纳入后续的潜空间推理。

**连续工作记忆是HybridAgent在多轮切换中保留上下文状态的机制。**按照论文描述，该架构利用持续保留的工作记忆连接文本与潜空间阶段，使模型切换模式时不必把全部中间状态重新压缩成一段自然语言摘要。

这可以类比为一个工程师在草稿纸上演算，只在需要查资料或提交结果时写出规范指令。普通文本Agent则更像要求工程师把每一次犹豫、每一个中间变量都完整口述出来，口述内容随后还要再次读回，显然会产生额外开销。

训练重点是学会何时沉默、何时行动

**HybridSFT是用于稳定混合生成和工具交互的监督微调阶段。**它先教会主干模型与HybridLink协同工作，让模型能够生成文本、进入潜空间、恢复文本并完成工具调用，而不是在两种表示之间随机跳转。

**HybridRL是让智能体学习模式选择策略的强化学习阶段。**它优化的不只是答案正确率，还包括何时继续在潜空间计算、何时切回文本执行动作，以及如何随着测试时计算预算增加而扩展推理过程。

模式选择比单纯压缩思维链更难，因为更少的文本并不自动等于更高效率。如果模型在潜空间里进行了大量无效迭代，即使最终只输出几十个Token，GPU仍然执行了多次主干网络前向计算；如果过早切回文本，潜空间又无法发挥压缩中间过程的作用。

因此，评价这类系统至少要分开看三个指标：显式文本Token数量、文本与潜状态合计的生成步数，以及真实墙钟时间。只报告文本Token减少多少，很容易把“没有解码成文字”误解为“没有发生计算”。

35.5%—54.7%不是简单的账单折扣

**论文报告的效率收益覆盖Token、速度和估算计算成本三个不同维度。**在11项基准的汇总结果中，HybridAgent减少35.5%—54.7%的Token使用量，获得1.8—2.6倍推理加速，并把估算计算成本降低2.7—3.7倍。

| 指标 | HybridAgent报告结果 | 应如何理解 | |---|---:|---| | 平均任务性能 | 提高10.4% | 相对论文所选前沿LLM Agent及文本、潜空间框架的汇总提升 | | Token使用量 | 减少35.5%—54.7% | 主要反映显式生成及整体轨迹缩短，不能直接等同账单降幅 | | 推理速度 | 提升至1.8—2.6倍 | 端到端墙钟时间收益，比单看输出长度更有参考价值 | | 估算计算成本 | 降低2.7—3.7倍 | 基于实验配置和计算量估算，实际成本取决于硬件与部署方式 | | 评测范围 | 3种规模、11项基准 | 覆盖数学、科学、医学、搜索和智能体推理 |

具体到论文披露的14B模型案例，每个问题的估算计算量从66.9 TFLOP降至25.1 TFLOP，降幅约62.5%；每100万次问题的估算成本从470美元降至176美元，约为原来的37.4%。这组数字比“少生成了一半文字”更有说服力，因为它至少尝试把潜空间步骤仍需运行主干模型的成本计算在内。

不过，成本数据仍不能直接套用到线上产品。GPU型号、批处理规模、KV Cache管理、工具等待时间、模型量化方式和服务利用率都会改变最终账单；论文中的计算量下降，也不意味着所有云端部署都能自动得到相同比例的费用下降。

真正值得关注的是性能没有被压掉

**HybridAgent最重要的结果不是省Token，而是在减少显式推理的同时平均性能提高10.4%。**过去不少“短思维链”方法能降低生成成本，但代价是复杂问题准确率下降，尤其容易损伤多步数学、搜索规划和工具使用能力。

论文称HybridAgent在不同模型规模上都表现出较强的测试时扩展能力。测试时扩展是指在不重新训练模型的情况下，为单个问题分配更多推理步骤或计算预算，以换取更高的解题成功率；混合架构允许新增预算主要花在潜空间计算上，而不是线性增加可见思维链长度。

| 推理路线 | 中间状态形式 | 工具交互 | 可检查性 | 主要问题 | |---|---|---|---|---| | 纯文本Agent | 自然语言Token | 直接、成熟 | 高 | 轨迹长，解码和上下文成本高 | | 纯潜空间推理 | 连续隐藏状态 | 接入难度较高 | 低 | 动作边界和故障定位困难 | | HybridAgent | 文本与潜状态动态切换 | 通过文本模式执行 | 中等至较高 | 训练复杂，模式切换需要稳定控制 |

这种性能与效率同时上升的现象并不反常。自然语言是为人类沟通设计的离散接口，不一定是神经网络保存所有中间计算的最高效格式；强迫模型把每一步都投影到有限词表中，可能既浪费计算，也会丢失隐藏状态里的细粒度信息。

它不会让推理过程完全透明

**混合推理只能保留关键动作的可见性，不能让潜空间里的计算天然变得可解释。**开发者可以看到模型何时调用搜索、输入了什么查询、拿到了什么结果以及最终如何回答，却无法像阅读完整文本思维链一样逐句查看潜空间阶段。

这对医疗、金融和高风险自动化场景尤其重要。即使最终答案正确，系统仍可能基于错误线索得出结论；如果关键判断都发生在连续向量中，仅靠事后生成一段解释，无法证明解释真实对应了模型的内部推理过程。

论文所说的“可检查”更适合理解为混合轨迹仍保留文本检查点，而不是潜向量已经具备人类可读性。对于生产系统，工具调用日志、引用来源、输入输出约束和外部验证器仍然不可替代。

目前仍是一份需要复现的预印本

**HybridAgent当前最明显的限制是核心结论主要来自作者设定下的实验，而非大规模独立部署。**论文覆盖3种模型规模和11项基准，范围并不窄，但真实智能体还会遇到网页变化、工具报错、网络等待、超长任务和并发调度等问题，这些因素可能稀释模型推理本身的加速收益。

基线选择也会影响10.4%的平均性能提升。不同Agent框架使用的提示词、最大生成长度、工具重试策略和测试时预算可能不同；只有在相同主干模型、相同计算预算和相同工具环境下比较，才能判断收益究竟来自混合架构，还是来自训练数据与后训练流程。

预印本中的最高值也不应该被当作每项任务都能达到的固定收益。35.5%—54.7%的Token降幅、1.8—2.6倍的速度提升和2.7—3.7倍的成本下降都是区间结果，具体数字会随模型规模、任务类型和推理预算变化。

对Agent行业意味着什么

**HybridAgent指向的趋势是把自然语言从“唯一计算介质”降级为“人机与工具接口”。**模型不再需要用文本承载全部内部状态，而是在必须与人类、软件和外部环境通信时才生成离散Token。

这条路线对深度研究、复杂搜索和长周期任务最有吸引力。一个需要搜索数十次、比较多份资料并持续修正计划的Agent，通常会产生很长的内部轨迹；如果其中一半以上可以放在潜空间处理，延迟、上下文占用和服务成本都有机会同步下降。

短问答场景则未必能获得同等收益。对于一次生成几十个Token就能完成的请求，模式切换、额外训练模块和调度逻辑可能抵消节省的时间；HybridAgent更像是面向长推理智能体的架构优化，而不是所有聊天请求都应该默认启用的开关。

从产品竞争看，混合推理也可能改变“推理模型按输出Token计费”的简单逻辑。当越来越多计算发生在不可见的潜状态中，输出Token将更难代表实际算力消耗，服务商可能转向按任务、推理预算或计算等级定价。

最终判断是：HybridAgent提出了一个合理且工程价值明确的方向，但“少用一半Token”不是这项工作的全部，也不是最该被单独宣传的数字。更关键的结果是，它尝试在不牺牲工具能力的前提下，把语言从模型的内部思考过程里部分移除；如果后续开源实现和独立复现能够守住10.4%的性能提升及1.8—2.6倍的速度收益，混合推理有机会成为下一代Agent的基础组件，而不只是又一种压缩思维链的技巧。

参考来源

• Hybrid Reasoning Agents论文页面：汇总论文摘要、模型页面与社区讨论，包含3种模型规模、11项基准及主要效率数据。