2026 年 10 月 30 日，OpenAI、Google 与 Microsoft 分别宣布将尊重一项共用的 robots.txt 信号，让网站运营方用同一写法向多家参与方表达「是否可用于基础生成式 AI 训练」的偏好。信号沿用普通 robots.txt 分组，在 User-Agent 行使用策略令牌 __usage_ai-training，详见 Anthropic 的 Kevin Kelley 提交的 IETF 个人草案。Anthropic 经 Kelley 表示已开始落地支持。该令牌不取代各家现有的按爬虫控制规则。
要点
| 内容 | |
|---|---|
| 内容 | robots.txt 共用策略令牌 __usage_ai-training，表达生成式 AI 训练偏好 |
| 宣布方 | OpenAI、Google、Microsoft（公司博客）；Anthropic 经 Kevin Kelley（IETF AI Preferences / 草案） |
| 日期 | 2026 年 10 月 30 日 |
| 全站退出示例 | User-Agent: __usage_ai-training 后接 Disallow: / |
| 是否取代现有控制 | 否——OpenAI、Google、Microsoft 均称公司专属爬虫规则继续有效 |
| OpenAI 时间表 | 目标「未来数月」落地 |
| Google 时间表 | 目标 2027 年支持（Search Central）；二手报道引 crawler 文档称 early 2027 |
| Microsoft 时间表 | 自 2027 年 2 月 1 日起随抓取生效 |
| Anthropic 时间表 | Kelley：已开始实现；全服务覆盖仍需时间 |
| 不是什么 | 本身不是抓取封锁；草案称缺省该令牌即「未表达偏好」；其他用途的默认值因厂商而异 |
背景
网站以往常在 robots.txt 里逐个点名 AI 爬虫。草案不改 robots.txt 语法，路径匹配规则照旧：__usage_ai-training 下 Disallow 表示反对训练，Allow 表示同意。通配 User-Agent: * 不得当成匹配该策略令牌。
OpenAI 写明新信号不取代现有爬虫控制。Google 称建立在 2023 年起提供的 Google-Extended 之上：若站点用共用令牌退出且未单独写 Google-Extended，Google 计划按禁止 Google-Extended 处理。Microsoft Bing 博客另加页面级 AI Grounding 偏好（Allow / Disallow / DisallowExtended），并称训练与 grounding 偏好都不影响传统 Bing 搜索收录资格；新偏好自 2027 年 2 月 1 日随抓取生效，仍依赖 NoArchive / NoCache 的站点需在 2027 年 3 月 1 日前迁移。
The Verge 报道称 Meta 传播负责人 Andy Stone 称共用信号是「重要一步」，但未说明 Meta 是否会遵守。
各方反应与影响
出版方可一次写出面向多家参与训练方的偏好，同时仍可按厂商细调。落地时间表不一致，今天改 robots.txt 不会在同一天约束所有大模型训练方。Microsoft 的 grounding 控制是产品侧补充，不在该 IETF 草案正文里。
尚不清楚的地方
- OpenAI「未来数月」具体何时上线，以及如何映射到 GPTBot 等相关爬虫。
- Google 在 2027 年目标之外的精确切换日。
- Anthropic 部分实现何时覆盖 ClaudeBot 等全部相关服务。
- Meta、Amazon 等其他大型训练方是否会承诺遵守同一令牌。
- 法院或监管如何看待仍属个人 Internet-Draft、尚未成为正式 IETF 标准的自愿 robots.txt 偏好。