ISNAD开源：智能体也要查证

近日，一个名为 ISNAD 的开源项目开始尝试解决多智能体系统最棘手、也最容易被忽略的问题：一条看起来完整、引用齐全的答案，究竟是怎样被生产出来的，它的每个关键说法又是否真的可靠。

**ISNAD 是一个面向多智能体大模型系统的声明级信任层，它为每条声明保留完整传递路径，并分别评估来源、传递者、交叉印证关系和声明内容。**项目作者在 Reddit 的原始发布帖 中公开了预印本与代码入口，并明确表示，希望社区重点批评其中尚未完成验证的部分。

截至 2026 年 7 月 29 日，ISNAD 更适合被视为一个有启发性的研究原型，而不是已经经过大规模基准测试的生产级事实核验系统。它目前最有价值的地方，不是一组漂亮的准确率数字——作者尚未给出足够完整的性能、延迟和校准结果——而是把多智能体系统的可信度问题，从“相信哪个 Agent”推进到了“相信哪一条具体声明”。

多智能体系统缺的不是日志，而是证据链

**多智能体流水线的典型故障，是错误在多个步骤之间被悄悄放大，最终却以流畅答案的形式交付。**一条研究型回答可能先经过搜索器找到网页，再由抓取器读取正文，随后由提取模型整理数据，交给若干分析 Agent 讨论，最后由综合模型写成结论。表面上只是一次回答，实际可能包含 5 个以上的信息转换阶段。

**传统可观测性只能告诉开发者系统做了什么，却不能直接证明系统说得对。**OpenTelemetry 一类追踪工具可以记录调用路径、耗时、异常和输入输出；权限框架可以确认某个 Agent 是否有权访问数据库；数字签名可以证明一段消息由谁发送。它们回答的是身份、执行和完整性问题，不是事实问题。

**一条消息没有被篡改，并不意味着消息本身是真的。**如果抓取器读取的是错误网页，后续每个节点都忠实转发，这条链在工程上可以完全合规，在事实层面却从第一步就已经失败。密码学签名能证明“这句话确实由 A 发送”，无法证明“A 说的内容符合现实”。

**普通 RAG 引用也没有自动解决证据质量问题。**不少系统会在段尾附上链接，但链接可能只是二手转载，可能没有覆盖对应声明，也可能在多个“独立来源”背后指向同一份新闻稿。更常见的情况是，引用支持了相邻背景，却没有支持答案中最关键的数字、因果判断或比较结论。

这正是 ISNAD 想补上的一层。

ISNAD 借用了两套已有约 12 个世纪历史的方法

**Isnād 是记录一项陈述经由哪些传递者逐级流转的传述链。**ISNAD 借用这一思想，要求系统不要只保存最终引用，而要保留声明从原始材料到最终答案的完整来源路径，例如“统计报告—网页抓取器—表格提取模型—分析 Agent—综合 Agent”。

**Rijāl 是对传递者可靠性与精确度进行评估的方法。**映射到多智能体场景后，被评级的对象不只包括大模型，也包括网页来源、搜索器、抓取器、OCR、解析器、数据库、人工审核者和负责综合的 Agent。一个节点可能在“是否忠实”上表现良好，却在“是否精确”上频繁丢失单位或时间范围，这两类问题不能混成一个总分。

**ISNAD 的基本判断是，一条传递链的可信度受最弱环节限制。**如果原始论文可靠、抓取内容完整、分析模型也没有明显问题，但中间的表格提取器把 0.7% 读成 7%，最终结论就不能因为其他节点得分很高而获得高置信度。这类似安全系统中的短板效应，而不是简单求平均分。

**独立传递链可以提高置信度，但只有真正独立的证据才有意义。**假设三个新闻网站都声称某模型达到同一跑分，如果它们都转载同一篇厂商博客，那么数量是 3，独立证据链仍可能只有 1。相反，一份官方技术报告、一套可复现实验结果和一家无共同上游来源的第三方评测，才更接近三条独立路径。

**内容审查必须与传递链审查分开进行。**项目对应的另一个重要概念是 matn criticism，也就是即使传递过程没有缺口，也要单独检查陈述内容是否自相矛盾、是否违反已知约束、是否偷换统计口径。完整来源链可以证明一句话来自哪里，却不能豁免这句话本身接受审查。

这套方法与多智能体系统的适配点相当直接：每个 Agent 都像一个信息传递者，每次工具调用都是一次转述，每条最终声明都应当携带自己的来源谱系，而不是让整篇答案共享一个模糊的“参考资料列表”。

它验证的是声明，不是 Agent 的身份

**声明级验证是 ISNAD 与多数 Agent 安全方案最关键的区别。**身份和权限体系通常以 Agent 为单位，默认某个已认证 Agent 的输出可以整体信任；ISNAD 则把答案拆成若干可验证声明，同一个 Agent 生成的不同句子可以获得完全不同的可信度。

例如，一份市场报告可能包含以下三条声明：

• 某公司在 2026 年第二季度发布了产品 A；
• 产品 A 的推理延迟比上一代降低 40%；
• 延迟下降将使该公司在企业市场领先竞争对手。

**三条声明需要三种不同强度的证据。**第一条可以由官方发布日期和产品页面验证；第二条必须检查测试硬件、并发、输入输出长度及统计口径；第三条则属于推断，即使前两条都成立，也不能自动视为已被事实证据证实。

**声明原子化因此是系统能否落地的第一道门槛。**如果综合模型把日期、性能数字和商业判断塞进一个长句，证据评分就会变得含糊。较合理的做法是先将答案拆成最小可验证单元，再分别关联证据和传递路径，最后才重新组合成面向用户的文本。

| 方案 | 核心验证对象 | 能回答的问题 | 主要盲区 | |---|---|---|---| | Agent 身份与权限 | Agent、账号、工具权限 | 谁执行了操作，是否获得授权 | 无法判断输出内容是否真实 | | 调用链追踪 | 请求、工具调用、耗时、异常 | 系统经过了哪些步骤 | 记录过程不等于验证事实 | | 普通 RAG 引用 | 文档或网页链接 | 答案可能参考了什么 | 链接未必支持具体声明，来源可能不独立 | | 数字签名或哈希存证 | 消息完整性与发送者 | 内容是否被改动、由谁发送 | 无法证明原始内容正确 | | ISNAD | 单条声明及其完整传递链 | 声明从哪里来、经谁处理、是否有独立印证 | 仍需解决来源评级、独立性识别和内容审查 |

真正有用的部分，是把“引用”升级成可计算对象

**ISNAD 的工程意义在于，证据不再只是展示给用户点击的链接，而是可以进入系统决策的结构化对象。**当每条声明拥有来源、传递节点、节点评级、独立证据数量和内容审查结果后，系统就可以决定是正常回答、降低措辞强度、请求补充检索，还是直接拒绝下结论。

一个实际的接入流程可以分为六步：

1. **拆分声明：**把综合答案分解为日期、数字、实体关系、因果判断和预测等最小验证单元。
2. **绑定证据：**记录每条声明对应的原始文本片段、文档位置、发布时间和来源类型。
3. **保留谱系：**保存抓取、解析、摘要、推理和综合过程中每次转换的输入输出关系。
4. **评估节点：**分别记录来源的历史可靠性，以及工具或模型在对应任务上的精确度。
5. **识别独立性：**检查多个来源是否共享同一上游材料、作者、数据集或新闻稿。
6. **审查内容：**判断声明是否得到证据蕴含，数字和单位是否一致，结论是否超出材料范围。

**这套结构最适合高风险、长链路和需要审计的任务。**医疗研究综述、金融尽调、法律材料整理、安全事件分析和企业知识库问答，都不应只返回一段“像答案的文本”。使用者更需要知道哪条结论有一手证据，哪条只是二手转述，哪条是模型自己的推断。

**这套结构对普通聊天场景未必划算。**声明切分、证据检索、独立性检测和内容复核都会增加模型调用、存储量与延迟。如果用户只是让系统改写邮件，维护完整证据链几乎没有收益；如果用户要求比较三种药物的临床证据，额外成本则很可能值得。

最难的不是建链，而是判断两条链是否真的独立

**来源独立性是 ISNAD 最容易在真实互联网环境中失效的环节。**网页数量不等于信息源数量，域名不同也不等于证据独立。新闻聚合、厂商通稿、SEO 改写和模型生成内容，会让同一个未经证实的说法在短时间内复制到几十个网站。

**独立性判断需要追踪证据的共同祖先。**系统至少要比较发布时间、文本重合度、引用关系、数据集来源和关键数字组合。如果两篇文章都使用相同的罕见措辞和完全一致的数字顺序，它们很可能不是两次独立观察，而是同源转述。

**多 Agent 讨论也不天然构成独立验证。**让三个 Agent 使用同一个模型、同一份检索结果和相似提示词分别作答，得到一致意见，只能说明采样结果一致，不能说明事实得到三重印证。模型参数、上下文和上游材料高度共享时，“多数投票”很容易变成同一种错误重复三次。

**传递者评级同样可能固化偏见。**一个来源过去可靠，不代表它对所有领域都可靠；一个模型擅长抽取英文网页，也不代表它能准确处理扫描 PDF、复杂表格和跨语言材料。因此，评级不应只是全局声誉分，而应细化到任务类型、内容领域、时间范围和可验证历史。

**最低分原则也需要谨慎使用。**如果任何低分节点都能把整条链压到最低，系统可能过于保守；如果通过加权平均稀释低分节点，又会掩盖致命错误。生产实现通常需要区分“关键节点”和“辅助节点”，并区分缺失证据、冲突证据与明确反证，而不是只输出一个看似精确的总分。

项目现在最缺的是量化验证

**ISNAD 目前尚未提供足以证明方案优于现有基线的完整量化结果。**作者在发布时也主动承认，部分设计尚未经过验证，并邀请社区提出批评。这种表态比直接把原型包装成成熟框架更可信，但也意味着开发者暂时不应把其评分当成客观概率。

**一个声明获得 0.8 分，并不天然意味着它有 80% 的概率为真。**如果没有经过真实数据校准，分数只是规则系统或模型判断的内部尺度。要验证 ISNAD 是否有效，至少需要公开声明级标注集，并测量真实声明、虚假声明、部分支持声明和证据冲突声明上的区分能力。

值得关注的评测指标包括：

• **声明切分准确率：**系统是否漏掉复合句中的关键子声明；
• **证据蕴含准确率：**引用片段是否真正支持对应结论；
• **来源谱系完整率：**中间转换步骤是否存在缺口；
• **独立链识别率：**能否发现多个网页背后的共同上游来源；
• **置信度校准误差：**高分声明是否确实比低分声明更可靠；
• **拒答质量：**证据不足时能否安全停下，而不是继续补全；
• **系统成本：**每条声明增加多少延迟、模型调用和存储开销。

**对照实验也必须选择正确基线。**ISNAD 不应只与“完全不引用来源的单 Agent”比较，还应与带引用的深度研究系统、声明级事实核验器、知识图谱溯源方案及多 Agent 辩论框架比较。否则，即使结果提升，也无法知道收益究竟来自完整传递链，还是仅仅来自增加了一次检索和复核。

我们的判断：思路对了，产品化还早

**ISNAD 抓住了多智能体系统走向生产后必然面对的问题：答案不是一个字符串，而是一组需要分别承担证据责任的声明。**过去一年，Agent 框架把大量精力投入规划、工具调用、记忆和协作，但这些能力主要解决“如何完成任务”，没有完整解决“为什么应该相信结果”。

**项目最值得借鉴的设计原则，是把证据链作为生成过程中的一等数据，而不是答案生成后的装饰。**如果等综合模型写完长文，再让另一个模型补引用，系统很容易出现引用漂移。更稳妥的方式是从检索开始保留声明与证据的绑定关系，并让后续每次改写都继承或重新验证这一关系。

**项目最需要警惕的风险，是用一套复杂评分制造新的确定性幻觉。**来源可靠性、传递精度和内容合理性都很难被压缩成一个数字，而“独立证据链”在今天的互联网环境中尤其难以自动判断。界面上展示小数点后两位的信任分，可能比简单标注“证据不足”更误导用户。

**开发者现在可以借用 ISNAD 的数据模型，但不宜直接迷信它的结论分数。**即便暂时不采用完整框架，也可以先做三件事：把答案拆成声明；为每条声明保留原始证据片段和中间转换记录；明确区分直接事实、二手转述与模型推断。这三步已经能显著提升系统的可审计性。

**多智能体系统下一阶段的竞争，不会只是同时调度更多 Agent。**真正拉开差距的，是系统能否说明每条结论从哪里来、经过哪些处理、有哪些独立证据，以及在证据不足时是否愿意停下。ISNAD 尚未证明自己是最终答案，但它提出的问题，已经比“再加一个审稿 Agent”更接近问题本质。

参考来源

• ISNAD 作者发布帖：项目作者对研究问题、核心方法、预印本与代码发布情况的说明，也是本文关于项目状态的主要来源。
• 开源生物医学 AI 研究智能体与证据分级介绍：用于补充高风险研究场景对证据可追溯、系统综述规范和证据分级的现实需求。