你的内容能不能进 AI 的世界，第一道闸门是爬虫。不少站点莫名其妙「AI 上搜不到自己」，排查半天发现问题出在 robots 或防火墙误拦了爬虫。这篇讲清 AI 爬虫的类型、识别方法与配置策略。
一、两类爬虫，两种用途
训练型爬虫（如 GPTBot）抓取内容用于改进模型本身，进入训练语料意味着模型「记住」了你的品牌知识，影响的是不加检索也能答出的那部分内容。
检索型爬虫（如各家的搜索/浏览组件）在回答问题时实时抓取网页，决定的是「此刻 AI 能不能读到你的页面」。对时效性内容与推荐类答案，检索型的影响更直接。
两者的抓取节奏、更新频率都不同，优化侧重也不同：训练型看长期存在感（百科、权威平台），检索型看页面当下的可访问性与内容质量。
二、怎么识别谁在访问
最直接的方法是分析服务器日志：按 User-Agent 过滤已知 AI 爬虫标识（OpenAI、Anthropic、字节、Perplexity 等各有固定 UA），统计它们的访问频率、抓取的路径、返回状态码。
重点看三类异常：403/429（被防火墙或限速拦截）、404（爬到了失效链接，说明内链或 sitemap 有问题）、以及长期不来（可能被上游降权或 robots 拦截）。
建议每月跑一次爬虫报告。很多站点的 GEO 问题，在日志里一眼就能看到答案。
三、配置策略：放行、限速还是拦截
核心问题只有一个：你想不想出现在 AI 的世界里？想，就要确保训练型与检索型爬虫都能顺利抓取核心内容；对内容付费墙或敏感页面，再按 UA 精细拦截。
配置位置是 robots.txt，按 User-Agent 分组写规则。注意两个高频事故：从模板复制的 robots 把所有 AI 爬虫一刀切拒绝；以及全站 CDN/WAF 的默认规则把陌生爬虫当攻击拦了。
对抓取频率过高的爬虫，用限速而不是封禁；对确认不想合作的爬虫，明确拒绝比放任不管更可控。
四、常见故障排查清单
AI 上搜不到自己？按顺序查：robots 是否误拦 → 防火墙/CDN 是否拦截爬虫 UA → 页面是否需要 JS 渲染 → 内容是否在登录墙内 → sitemap 是否包含该页。
抓取频繁但没被引用？说明抓取没问题，短板在内容可引用性或第三方一致性，回到内容侧解决。
某个引擎有、另一个没有？查该引擎爬虫的访问日志，大概率是单家爬虫被拦或索引未覆盖，针对性放行或等待即可。