AI抓取终于有了统一退出键

OpenAI、谷歌、微软与 Anthropic 在 10 月 30 日共同宣布支持一套 AI 训练退出信号，网站运营者未来只需修改一次 robots.txt，就能向多家 AI 公司表明：哪些内容不允许用于生成式 AI 模型训练。

这件事的价值不在于又多了一条爬虫规则，而在于四家主要 AI 公司第一次对“如何拒绝训练”采用相同的机器可读语言。过去，网站需要分别识别 GPTBot、Google-Extended、ClaudeBot 以及微软相关爬虫；新方案试图把这些碎片化规则压缩成一个跨厂商策略令牌。

不过，“统一 AI 抓取退出标准”这个说法并不完全准确。新机制统一的是内容使用偏好，不是一个能够从网络层强制拦截爬虫的防火墙，更不是已经正式生效的国际标准。

核心变化：从逐个拉黑，变成统一声明

AI 训练偏好信号是一种机器可读声明，用于告诉 AI 服务商网站内容是否可以被用于修改生成式模型的参数。

Anthropic 标准事务负责人 Kevin Kelley 提交的草案把这一信号命名为 __usage_ai-training。网站可以在原有 robots.txt 文件中，把它当成一个特殊的 User-Agent 使用：

User-Agent: __usage_ai-training
Disallow: /

这段配置表达的意思是：网站不希望任何路径下的内容被用于生成式 AI 训练。

规则也可以精确到目录。例如，一个媒体网站可以拒绝新闻正文进入训练集，但允许厂商使用公开的品牌资料：

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

这种设计没有发明新的配置文件，也没有增加新的语法。它复用了网站管理员已经使用数十年的 Allow、Disallow 和最长路径匹配机制，因此现有 robots.txt 解析器即使不认识这个令牌，也只会忽略相关分组，不至于破坏搜索引擎原有的抓取规则。

这也是方案最务实的地方：它没有试图推翻现有互联网基础设施，而是在旧插座上增加一个新协议。

别误解：它管的是训练，不一定管抓取

robots.txt 中的训练偏好与爬虫访问权限是两套相互独立的规则。

IETF 草案对这一点写得很明确：__usage_ai-training 不是一条爬取行为指令。它表达的是网站对内容用途的偏好，而不是要求爬虫不得下载页面。AI 公司可以因为内容已被禁止用于训练而停止抓取，但标准本身没有强制要求它必须这么做。(datatracker.ietf.org)

换句话说，下面两件事并不相同：

• 不允许机器人访问页面；
• 允许机器人访问页面，但不允许内容进入模型训练流程。

前者仍然需要针对具体爬虫配置规则，例如 GPTBot 或 ClaudeBot；后者才是统一令牌要解决的问题。

这个区别非常关键。AI 产品读取网页至少存在三种不同用途：搜索索引、实时检索与模型训练。训练是把内容转化为模型参数的一部分；实时检索则是在用户提问时读取网页，把网页作为当次回答的上下文；传统搜索索引主要负责发现、排序和展示网页链接。

如果把三者全部粗暴封死，网站确实能减少内容被使用的机会，但也可能同时失去 AI 搜索、智能助手引用和传统搜索流量。微软因此把 AI Training 和 AI Grounding 拆成了两套偏好，让网站可以拒绝训练，同时继续允许 Copilot 等产品在回答中引用页面。

四家公司不是同一天上线

四家公司目前承诺采用同一信号，但实施节奏、兼容逻辑和控制粒度并不一致。

| 公司 | 当前状态 | 预计实施时间 | 现有控制是否保留 | 关键差异 | |---|---|---:|---|---| | Anthropic | 已率先采纳或启动实施 | 已开始推进 | 保留 ClaudeBot 等规则 | 标准草案由 Anthropic 的 Kevin Kelley 提出 | | OpenAI | 已宣布支持 | 未来几个月 | 保留 GPTBot 等现有控制 | 新信号不会取代公司专属爬虫规则 | | Google | 已宣布支持 | 2027 年 | 保留 Google-Extended | 未单独配置时，可把统一退出解释为拒绝 Google-Extended | | Microsoft | 已公布详细迁移方案 | 2027 年 2 月 1 日起 | 逐步替代 NoArchive、NoCache 的 AI 用途 | 将训练和 grounding 拆成独立控制 | | Meta | 表态支持统一信号 | 未公布 | 未明确 | 尚未承诺具体实施时间 |

OpenAI 表示将在“未来几个月”实施这一信号，并强调 GPTBot 等现有控制仍会继续生效。也就是说，统一规则提供默认的跨平台选择，公司专属规则则用于覆盖或细化默认设置。(openai.com)

Google 计划在 2027 年提供支持。如果网站使用统一令牌拒绝训练，同时没有明确配置 Google-Extended，Google 将把它解释为拒绝 Google-Extended；如果网站单独设置了 Google-Extended，则更具体的公司专属规则优先。(developers.google.com)

微软的时间表最具体。微软计划从 2027 年 2 月 1 日开始读取新的训练与 grounding 偏好，并要求仍在使用 NoArchive 或 NoCache 管理 AI 用途的网站在 2027 年 3 月 1 日前完成迁移。旧标签在此后将不再被视为训练或 grounding 偏好。(blogs.bing.com)

Anthropic 是草案的直接推动者，并已率先推进支持；Meta 虽然认为跨厂商通用信号是重要一步，却没有公布产品层面的实施日期。(ithome.com)

因此，网站现在就加入统一规则是有意义的，但不能立刻删除原有的 GPTBot、Google-Extended 或 ClaudeBot 配置。在至少未来数月内，最稳妥的做法仍然是“统一令牌加厂商专属规则”并行。

这还不是正式的 IETF 标准

当前方案是一份 IETF Internet-Draft，而不是已经通过的 RFC 标准。

草案编号为 draft-kelley-aipref-training-preference-signal-00，提交日期是 2026 年 10 月 30 日，当前版本将在 2027 年 5 月 3 日到期。IETF 页面同时提醒，个人提交的 Internet-Draft 属于进行中的技术文件，不代表 IETF 已经背书，也没有正式标准地位。(datatracker.ietf.org)

这意味着名称、优先级规则和语义仍可能在讨论中变化。四家公司现在做的是提前采纳一套基本达成产业共识的语法，而不是等待漫长的标准化流程全部结束。

这类“先实施、后标准化”在互联网技术发展中并不罕见。浏览器、云厂商或搜索引擎先支持某个事实标准，能迅速形成安装基础；但它也带来风险：如果其他模型公司不跟进，同一个令牌仍然不能覆盖整个 AI 行业。

它解决的是配置成本，不是版权争议

统一退出信号解决的是网站如何表达拒绝，而不是 AI 公司是否拥有训练权利。

在新方案出现前，一个网站如果希望控制 AI 训练，需要跟踪不断增长的爬虫名单。每家公司可能还有多种机器人，分别负责训练、搜索、用户请求和其他用途。一旦某家公司调整名称，旧规则就可能失效。

统一令牌把复杂度从 N 家网站乘以 M 家 AI 公司，降低到网站维护一套通用偏好、AI 公司共同解释这套偏好。对大型媒体来说，这能减少运维和法务沟通成本；对没有专职工程师的小网站来说，它甚至可能决定退出机制是否真正可用。

但这套机制不会自动解决以下问题：

1. AI 公司是否必须遵守 robots.txt；
2. 已经进入训练集的数据是否需要删除；
3. 内容被用于训练是否构成合理使用；
4. 允许使用是否意味着需要付费；
5. 合作协议是否可以覆盖公开的退出偏好。

草案明确允许私人协议覆盖公开偏好。这意味着一家媒体可以默认拒绝 AI 训练，再通过单独的商业协议授权某家公司使用内容。统一令牌更像门口的“谢绝推销”标牌，而不是一份完整的内容授权合同。

也正因为如此，这项标准不会直接终结 AI 公司与新闻出版商之间的诉讼和谈判。它真正带来的变化，是让内容方拥有一个低成本、可记录且可审计的表达渠道。未来发生争议时，网站是否明确发布过退出信号，很可能成为判断厂商行为和主观状态的重要事实。

微软的方案更接近实际需求

微软把训练与 grounding 分开，是这轮发布中最有价值的产品设计。

AI Grounding 是指模型在生成回答时读取外部内容，并用这些内容约束答案、补充事实或提供引用。它不会直接修改模型参数，但会决定网站能否在 Copilot、AI 搜索或企业智能助手中获得曝光。

微软提供的逻辑允许网站形成三类选择：

| 训练偏好 | Grounding 偏好 | 实际效果 | |---|---|---| | 允许 | 允许 | 内容可用于未来模型训练，也可进入实时生成式回答 | | 拒绝 | 允许 | 内容不进入训练，但仍有机会被 AI 回答引用并带来访问 | | 拒绝 | 拒绝 | 同时退出训练和生成式回答引用 | | 拒绝 | DisallowExtended | 仅允许微软自营产品使用，不允许第三方 grounding 服务使用 |

第二种组合最值得内容网站关注。它把模型训练权和分发权拆开：出版商可以拒绝无偿贡献训练数据，同时不必放弃来自 AI 搜索和智能助手的潜在流量。

这也暴露了统一标准当前的局限：__usage_ai-training 只覆盖训练，不能统一管理实时检索、摘要生成、搜索展示、数据授权和模型输出引用。AI 内容治理最终需要的不是一个总开关，而是一组可以独立组合的用途权限。

对开发者和站长意味着什么

网站运营者现在应该审计 robots.txt，而不是立刻用统一令牌替换全部旧规则。

第一步是确认自己的真实目标。只是不希望内容进入训练集，与完全不希望 AI 产品访问网站，是两种完全不同的策略。前者可以使用新的训练偏好；后者还需要继续管理具体爬虫和服务器访问控制。

第二步是按路径配置，而不是简单地全站拒绝。付费文章、用户生成内容、内部文档和开放帮助中心的价值不同，一刀切可能让高质量公开内容失去 AI 引用机会。

第三步是保留厂商专属配置。Google 已明确表示 Google-Extended 可以与统一令牌并存，OpenAI 也不会取消现有控制。在主要厂商完成实施之前，删除旧规则反而会制造控制空窗。

第四步是记录配置发布时间和变更历史。该偏好原则上依据内容被获取时生效的 robots.txt 判断，而不是追溯适用于所有历史数据。网站需要保留日志、版本记录和抓取情况，才能在争议中证明自己何时表达了何种意愿。

一个有用但远远不够的开始

这项统一信号值得肯定，因为它第一次把 AI 训练退出从厂商功能变成了跨平台基础设施。

OpenAI、Google、Microsoft 和 Anthropic 覆盖了当前最主要的闭源生成式 AI 产品。它们共同支持同一个令牌，足以让这套语法获得事实标准的起跑优势。Meta 的积极表态也说明，大型模型公司至少不再公开反对内容方拥有机器可读的退出选择。

但它的约束力仍然来自厂商自愿遵守。robots.txt 从来不是访问控制系统，恶意爬虫可以直接忽略它；新令牌也没有验证接口、违规报告机制和自动赔偿安排。它能约束重视合规和品牌风险的大公司，却未必能约束不公开身份的数据收集者。

更现实的判断是：统一令牌不会让 AI 抓取争议消失，但会改变争议发生的方式。过去双方争论的是“网站有没有办法拒绝”；接下来争论的将是“厂商有没有正确读取、解释和执行已经明确发布的偏好”。

从默认抓取到机器可读协商，这是一个不算激进、却非常关键的转向。互联网内容不再只有“公开”和“不公开”两种状态，而是开始出现训练、检索、引用、索引和商业授权等更细的用途边界。

统一退出键已经出现，接下来真正决定它价值的，是有多少公司愿意按下暂停键后真的停手。

参考来源

• IT之家：OpenAI、谷歌、微软和 Anthropic 联手推行 AI 数据抓取退出标准 — 汇总四家公司实施计划、IETF 提案背景及 Meta 的回应。