在写内容、铺权威之前,先回答一个最基本的问题:AI 到底能不能读到你的页面?大量「GEO 没效果」的案例,最后查明是爬虫在某一关被拦住了。这篇给出一套四关诊断法,照着走一遍就知道卡在哪。
一、第一关:发现(AI 知道你的页面存在吗)
检查项:sitemap 是否提交且包含核心页面;核心页面是否有来自首页或其他页面的内链入口;新页面发布后是否有主动提交或通知机制。
常见问题:sitemap 长期未更新、新内容只挂在深层目录无内链、重要页面被 noindex。
验证方法:在各 AI 引擎问站点品牌词与核心页面标题,看哪些页面「有印象」;结合日志看爬虫抓取的 URL 覆盖范围。
二、第二关:访问(爬虫能打开页面吗)
检查项:robots.txt 是否误拦 AI 爬虫;防火墙/WAF/CDN 是否拦截爬虫 UA;页面返回状态码是否正常;是否有登录墙或地域限制。
这是事故率最高的一关:robots 模板残留、WAF 默认规则、限速过严,都会让爬虫拿着 403/429 离开。
验证方法:日志按 AI 爬虫 UA 过滤,统计状态码分布与访问趋势;对被拦路径修正配置后跟踪恢复情况。
三、第三关:渲染(打开后能看到内容吗)
检查项:核心内容是否在原始 HTML 中(非 JS 动态加载);关键数据是否不在纯图片/图表里;折叠内容是否存在于 HTML。
CSR 站点在这一关大面积失血:搜索收录正常,AI 却「视而不见」。
验证方法:禁用 JavaScript 打开核心页面逐一目检;用「查看源代码」确认正文文字真实存在于 HTML。
四、第四关:抽取(内容能被正确理解吗)
检查项:标题层级是否规范;关键信息是否结构化(表格/列表/schema);段落是否自含可引用;品牌实体信息是否清晰完整。
这一关决定「读到了」与「读懂了」的差别:结构混乱的内容即使被抓取,也难以被准确切块与引用。
输出与闭环:四关检查汇总成问题清单,按「影响面 × 修复成本」排优先级,交给对应责任方,修复后复测。建议季度例行 + 大改版后必做。