Katanemo Labs 推出 Signals 算法，通过轻量级结构化信号从海量智能体交互中筛选最具价值的轨迹，在 τ-bench 测试中信息量达 82%，效率提升 1.52 倍，且无需 GPU 运算。

Signals：无需 LLM 评判的智能体轨迹筛选算法

Katanemo Labs（DigitalOcean 旗下）刚发布了一篇关于智能体系统的新研究 Signals，直击当前 AI Agent 开发的核心痛点：如何从海量轨迹中快速找到真正值得分析的那些。

问题本质：轨迹爆炸与审查成本

如果你在构建 AI Agent，应该深有体会——智能体每次执行任务都会产生完整的交互轨迹（trace/trajectory），包括推理步骤、工具调用、环境反馈等。问题在于，这些轨迹数量太多了。

传统做法有两种：要么人工逐条审查，要么用额外的 LLM 调用来评判每条轨迹的质量。前者根本不可扩展，后者成本高昂——每条轨迹都要额外消耗 API 配额，而且 LLM 评判本身也可能不准确。

Signals 的思路是：不依赖人工或 LLM，而是通过计算结构化的"信号"（signals）来量化轨迹的信息量，从而自动筛选出最值得关注的那些。关键是，这个计算过程不需要 GPU，可以在线上环境实时运行，不影响智能体的正常行为。

信号分类学：三大维度九种模式

Signals 提出了一套简洁的信号分类体系，覆盖智能体行为的三个核心维度：

1. 交互维度（Interaction）

Misalignment（错位）：智能体的输出与用户意图或任务目标不一致
Disengagement（脱离）：智能体停止有效参与任务，比如重复无意义的回复
Stagnation（停滞）：智能体陷入某个状态无法推进，但又没有明确失败

2. 执行维度（Execution）

Failure（失败）：工具调用失败、API 错误、权限不足等显性错误
Looping（循环）：智能体重复执行相同或相似的操作，陷入死循环
Exhaustion（耗尽）：达到最大步数、token 限制或时间上限

3. 环境维度（Environment）

Anomaly（异常）：环境返回的数据或状态超出预期范围
Constraint Violation（约束违反）：违反了任务定义的硬性约束条件
Resource Contention（资源竞争）：多个智能体或进程争抢同一资源导致的冲突

Signals 信号分类体系示意图，展示三大维度与九种模式的关系

这套分类不是拍脑袋想出来的，而是基于团队在实际智能体系统中观察到的常见问题模式总结而来。每种信号都对应一类具体的、可量化的行为特征。

实现原理：轻量级特征工程

Signals 的核心是一组精心设计的特征提取器，它们从轨迹的结构化数据中计算信号强度。这些特征包括：

序列模式：检测重复的动作序列、状态转移模式
统计异常：计算关键指标（如工具调用成功率、响应时间）的偏离程度
语义相似度：用轻量级嵌入模型（非 LLM）计算连续输出的相似度，识别停滞和循环
约束检查：根据任务定义的规则验证轨迹是否合规

重点是，这些计算都是确定性的、可解释的，不依赖黑盒 LLM 评判。你可以清楚地知道为什么某条轨迹被标记为高信息量——是因为它触发了失败信号？还是因为出现了异常的循环模式？

实验结果：效率提升 1.52 倍

Katanemo Labs 在 τ-bench（一个智能体评测基准）上做了标注实验，对比了三种采样策略：

随机采样：从所有轨迹中随机选取
基于 Signals 的采样：根据信号强度排序后选取
Oracle 采样：事后人工标注的理想采样（作为上界参考）

结果显示：

随机采样的信息量率（informativeness rate）为 54%
Signals 采样的信息量率达到 82%
这意味着每审查一条轨迹，Signals 方法能获得 1.52 倍的有效信息

换句话说，如果你有预算审查 100 条轨迹，用 Signals 筛选后再看，相当于随机看 152 条的效果。对于需要快速迭代的智能体开发团队，这个效率提升是实打实的。

工程价值：可观测性的新维度

从工程角度看，Signals 提供的不仅是筛选算法，更是一套智能体可观测性（observability）的新框架。

传统的监控指标（延迟、吞吐、错误率）对智能体系统来说不够用。你需要知道：

智能体是否在做无用功？
哪些任务类型容易触发循环？
环境的哪些变化会导致性能下降？

Signals 把这些问题转化为可量化的信号，可以集成到现有的监控系统中。你可以设置告警规则：当某类信号的触发频率超过阈值时，自动通知开发团队。

更进一步，这些信号可以用于：

主动学习：优先标注高信号强度的轨迹，用于微调或强化学习
A/B 测试：对比不同版本的智能体在各类信号上的表现
根因分析：当智能体出现问题时，快速定位是交互、执行还是环境层面的问题

局限与未来方向

论文也坦诚了当前方法的局限：

信号定义的完备性：九种模式能覆盖大部分场景，但肯定不是全部。特定领域的智能体可能需要自定义信号
阈值调优：信号强度的阈值需要根据具体任务调整，目前还没有自动化的方法
多智能体系统：当前主要针对单智能体轨迹，多智能体协作场景下的信号计算更复杂

团队提到，下一步计划是：

开源 Signals 的参考实现，方便社区扩展
探索信号与智能体性能的因果关系，而不仅是相关性
研究如何用信号指导智能体的在线学习和自适应

对开发者的启示

如果你在构建生产级的 AI Agent，Signals 的思路值得借鉴：

不要盲目依赖 LLM 评判：LLM-as-a-judge 很流行,但成本高、不稳定。很多时候,结构化的规则和统计方法就够用
把可观测性当作一等公民：从设计阶段就考虑如何监控和调试智能体,而不是事后补救
信息量优先于数量：与其收集海量轨迹,不如精准采样高价值的那些

从更宏观的角度看，Signals 代表了智能体工程化的一个趋势：从"让它跑起来"到"让它可控、可观测、可优化"。随着 AI Agent 越来越多地进入生产环境，这类工程方法论会变得越来越重要。

Signals 在智能体开发流程中的位置示意图，展示从轨迹生成到筛选分析的完整链路

与现有方案的对比

市面上已有一些智能体轨迹分析工具，比如 LangSmith、Weights & Biases 的 Weave、Arize Phoenix 等。它们大多提供可视化界面和基础统计，但在自动化筛选方面能力有限。

Signals 的差异化在于：

无需额外 LLM 调用：降低成本，提高实时性
结构化信号体系：不是黑盒评分，而是可解释的分类
轻量级计算：可以在边缘设备或资源受限环境运行

当然，Signals 不是要替代这些工具，而是可以作为它们的补充。你可以用 Signals 做初筛，然后在可视化工具中深入分析筛选出的轨迹。

开源与社区

目前论文已经公开，代码预计会在近期开源到 GitHub。Katanemo Labs 表示会提供 Python 和 TypeScript 的实现，以及与主流智能体框架（LangChain、LlamaIndex、AutoGPT 等）的集成示例。

社区的早期反馈集中在几个方面：

自定义信号：希望能方便地添加领域特定的信号类型
实时监控：能否集成到 Prometheus、Grafana 等监控栈
多模态支持：当前主要针对文本轨迹，视觉或多模态智能体怎么办

这些都是合理的需求，也是开源后社区可以共同推进的方向。

结语

Signals 解决的是一个很实际的问题：如何在不增加成本的前提下，从智能体的海量交互中提取有价值的信息。它的方法不算复杂，但很实用——这正是工程化 AI 系统需要的那种务实创新。

对于正在构建 AI Agent 的团队，这篇论文值得仔细读一读。即使不直接使用 Signals，它提出的信号分类体系和可观测性思路也能给你的系统设计带来启发。

毕竟，智能体不是魔法，它是需要工程化管理的复杂系统。而 Signals 提供的，正是这种管理能力的一块基石。

参考来源

Reddit r/MachineLearning 讨论帖 - Katanemo Labs 团队成员 Salman、Shuguang 和 Adil 发布的 Signals 研究介绍，包含论文核心思路和实验结果概述