四大 AI 实验室支持统一的 robots.txt 标记，终结训练退出碎片化

OpenAI、谷歌、微软和 Anthropic 已共同承诺遵守 robots.txt 中单一的 __usage_ai-training 信号。这一举措全面落地后，网站运营者只需写一条规则，就能同时拒绝这四家机构采集训练数据，而不必各写一条。这项 2026 年 10 月 30 日宣布的举措，核心是 Anthropic 工程师 Kevin Kelley 通过 IETF 的 AI 偏好工作组提交的一份个人互联网草案，也是这四家主导前沿 AI 的公司首次在一项机器可读的训练数据偏好上达成一致。这项承诺不会追溯影响已经采集的数据。

对网站运营者来说，这一变化的现实意义，体现在它消除的繁琐程度上。如今，要阻止网站内容进入 AI 训练流水线，需要为 GPTBot（OpenAI）、ClaudeBot（Anthropic）、Google-Extended（谷歌）、Bingbot 系列和 NoArchive/NoCache 标签（微软）分别写规则，还要应付各家基础设施下不断增多的第三方抓取工具。Cloudflare 对 2026 年第一季度约 4300 份抽样 robots.txt 文件的分析发现，约 13.8% 已拦截 GPTBot，11.5% 拦截 ClaudeBot，10.7% 拦截 Google-Extended，每一条都是单独手动维护的规则。路透新闻研究所的一项研究发现，十个国家中广泛使用的新闻网站有 48% 拦截 OpenAI 的爬虫；另一项 arXiv 研究则追踪到，知名出版商拦截 AI 的比例从 2023 年 9 月的 23% 升至 2025 年 5 月的近 60%。碎片化是真实存在的，而且还在加剧。

How the __usage_ai-training 标记在实践中如何运作

这个新信号沿用了 robots.txt 现有的 User-agent: 分组机制，没有给协议新增任何语法。网站运营者只需加入以下两行，就能让整个域名对所有四家参与的爬虫退出训练使用：

User-agent: __usage_ai-training
Disallow: /

运营者可以用标准的 Allow: 指令开出例外，比如放行新闻资料或投资者关系板块，同时拦截其余内容。这个标记只针对训练用途；单独的指令控制着 AI 检索和搜索落地，因此拦截训练本身并不会把网站从 AI 搜索功能中移除。这份草案文件 draft-kelley-aipref-training-preference-signal-00 由 Kelley 撰写，于 2026 年 10 月 30 日提交，有效期至 2027 年 5 月 3 日，到期前可续期。

关键在于，这个信号是一种偏好声明，不是技术性的拦截。robots.txt 标准历来如此运作：它是表达意图的协议，不是强制执行的机制。草案文本写的是爬虫「可以」遵守这一偏好，而不是「必须」。TollBit 一份关于 2025 年欧洲 AI 爬虫行为的报告发现，约 15% 被识别出的 AI 页面抓取工具仍然会访问被标记为禁止访问的网址。遵守与否一向是自愿的，而且历来并不完美。

更广泛的 IETF 标准化进程，这份草案只是其中一环

这项公告被广泛描述为「有 IETF 背书」，从提交走的是 IETF 流程这个角度看是准确的，但需要澄清。IETF 的 AI 偏好工作组于 2025 年 1 月成立，目前正在推进两份已被采纳的草案，一份涉及表达 AI 使用偏好的词汇，另一份涉及附加机制，这是此项工作的制度背景。2026 年 5 月发布的 RFC 9969是互联网架构委员会（IAB）2024 年 9 月 AI-CONTROL 研讨会的报告，为这项工作提供了概念上的支撑；一位与会者的总结「robots.txt 坏了，是我们把它弄坏的」，精准地捕捉到了业界的情绪。

Kelley 10 月 30 日的草案是一份单独的个人提交，尚未被工作组采纳，也不是已批准的 IETF 标准。除非 AIPREF 工作组采纳它、互联网工程指导组（IESG）批准，否则它没有任何正式的 IETF 地位。各公司遵守它的承诺是自愿的，也早于任何正式的标准化。目前存在的，是四家主要 AI 开发商作出的一项协调一致的承诺，依托的是一份六个月后到期、除非续期否则失效的活文档。相对于当前碎片化的局面，这是有意义的进展，但还不是一项定稿的互联网标准。

分阶段推行：各家公司实际承诺了什么

四家公司的承诺是真实的，但推行时间并不同步。Anthropic 已开始着手遵守这一标记，不过支持将是对其现有 ClaudeBot 控制的补充，而不是取代，具体日期尚未给出。OpenAI 表示将在「未来几个月内」加入支持。微软给出了最明确的时间表：将从 2027 年 2 月 1 日起遵守这一偏好，并表示其实现将取代自 2023 年以来用于类似目的的 NoArchive 和 NoCache 标签。谷歌计划在 2027 年初支持这一标记，并在其爬虫文档中指出，这一信号符合欧盟《人工智能法案》下通用 AI 行为准则的要求，该准则正式承认 robots.txt 是权利人有效的机器可读退出机制。

在各家公司各自启用支持之前，仅依赖 __usage_ai-training 的网站运营者，无法防范那家公司的爬虫。现有的各厂商专属指令，GPTBot、ClaudeBot、Google-Extended、OAI-SearchBot，在过渡期内仍是有效的控制手段。希望在推行期间获得保护的运营者，应继续并行维护目前各厂商的规则。

隐藏的取舍：落地引用、可见度与微软的拆分控制

这个退出机制并不像「单一标记」的说法听起来那样简洁，有两个平台特有的复杂之处值得关注。

谷歌表示，如果网站使用 __usage_ai-training 却没有明确的 Google-Extended 放行指令，可能会被视为同时退出了 Google-Extended，而后者不仅管理训练，也管理落地引用，即 Gemini 展示引用来源、把点击导回原始出版商的过程。希望阻止谷歌用自己内容训练模型、同时仍有资格获得 Gemini 引用的运营者，需要维护一套更精细的 robots.txt 配置：既有 __usage_ai-training 的禁止，也有明确的 Google-Extended 放行。

微软的情况在结构上有所不同。在共享的训练标记之外，微软正在引入一项名为「AI Grounding」的独立落地引用控制，用来决定微软的 AI 产品是否会在响应用户查询时抓取并引用某个页面。值得注意的是，这项落地引用控制提供了拆分选项：运营者可以拦截构建在微软基础设施之上的第三方 AI 工具，同时仍允许微软自家的 Copilot 引用该页面。这种颗粒度目前在谷歌的实现中并不存在。代价是，微软的默认设置偏向 AI 访问：训练和落地引用偏好默认都设为允许，除非被明确修改。

仍然存在的覆盖缺口

四家公司并非市场的全部。Meta 已公开表示支持建立统一的退出信号（Meta 的传播负责人称其为「重要的一步」），但尚未承诺实现 __usage_ai-training 标记或给出任何具体时间表。亚马逊和苹果都没有出现在相关讨论中。谷歌的 AI 摘要功能依托于与 Google-Extended 爬虫不同的基础设施，不在这一标记的范围内。出版商与 AI 公司之间的私下授权协议可以完全凌驾于所声明的偏好之上。而整个承诺都没有触及一个法律问题：在没有退出保护的情况下用受版权保护的内容训练模型，是否本就已经需要授权，这个问题仍在多个司法辖区的法庭上审理。

这项公告推进的是退出问题的表达层面：以最少的运营者成本，把一项偏好传达给多家爬虫。它留给未来解决的，是更难的部分：可审计性、执行力、追溯性救济、补偿，以及把范围扩展到最初四家签署方之外的众多 AI 开发商。

接下来值得关注的里程碑，是微软 2027 年 2 月 1 日的启用，以及谷歌 2027 年初的执行，这将是检验这一协调承诺能否转化为一致爬虫行为的首次真实测试。如果 AIPREF 工作组正式采纳 Kelley 草案的某个版本，并由 IESG 推进为建议标准，其分量将远超目前这种自愿承诺。在那之前，网站运营者将经历一个过渡窗口期：信号已经存在，四家实验室已承诺遵守，而它能提供多少实际保护，完全取决于每家实验室各自推行计划的执行情况。