robots.txt 只有几十行，却决定着 AI 能不能读到你的内容。多数站点的问题不是「配置错了」，而是「从没为 AI 认真配过」——照搬多年前的模板，顺手把 AI 爬虫挡在了门外。这篇帮你把这件事一次做对。
一、先定策略，再写规则
robots 配置的前提是业务策略：你想在多大程度上参与 AI 生态？对绝大多数以获客为目标的商业站点，答案是「希望被 AI 看到」——那么默认动作是放行主流 AI 爬虫。
需要区别对待的例外：付费/会员内容（防止被直接取用）、内部系统与后台路径、测试环境。这些用 robots 明确拦截，比放任或全站封锁都更可控。
把策略写成一页纸：放行清单、拦截清单、灰度观察名单。规则是策略的表达，别让模板替你做决定。
二、怎么写、怎么测
robots 按 User-Agent 分组：对 GPTBot、ClaudeBot、Bytespider、PerplexityBot 等分别写规则，或用通配统一放行后再对个别爬虫收紧。注意 Disallow 路径大小写与目录斜杠的准确性。
写完必须验证：robots 协议提供了官方校验方式（如搜索引擎站长平台的 robots 测试工具），加上真实日志确认——改配置后观察目标爬虫的抓取是否恢复。
一个关键提醒：robots 只能「劝阻」守规矩的爬虫，挡不住恶意抓取。真正的防护靠鉴权与访问控制，robots 负责的是「对合作者的态度表达」。
三、三个高频事故
模板事故：多年前的 robots 模板里躺着一条针对旧爬虫的全站 Disallow，新爬虫沿用类似标识被一并挡住。排查方法：逐行读一遍现有 robots，删掉说不清用途的规则。
防火墙事故：WAF/CDN 把高频访问的 AI 爬虫当攻击拦截，页面层面看不出任何异常。排查方法：日志里看 403/429 集中在哪些 UA。
路径事故：规则里大小写、参数、目录层级写错，导致「想拦的没拦住，想放的没放进」。每次修改后用测试工具逐条验证。
四、配置之后的运营
robots 不是一次性的：新爬虫出现、业务边界变化、平台策略调整，都是复查触发点。建议每季度连同日志分析一起例行检查。
建立「爬虫名册」：整理主流 AI 爬虫的 UA、所属公司、用途（训练/检索）、官方文档链接，配置与排查时直接对照，避免凭记忆写规则。
最后把 robots、llms.txt、sitemap 三个根目录文件纳入同一张「技术 GEO 清单」，一次部署、定期联查。