robots.txt 生成器

可视化生成 robots.txt 文件,控制搜索引擎爬虫的抓取范围。内置 WordPress 推荐规则、屏蔽 AI 爬虫等常用预设,生成后上传到网站根目录即可生效。

提示:robots.txt 需放在网站根目录(如 www.example.com/robots.txt);规则不区分大小写;修改后可用 Google Search Console 的 robots 测试工具验证。注意 robots.txt 是"君子协议",敏感目录请用服务器密码保护,不要依赖它做访问控制。

常见问题

robots.txt 和 nofollow 有什么区别?

robots.txt 是爬虫抓取前读取的"抓取协议",控制能否抓取页面;nofollow 是页面内的链接属性,控制是否传递权重与跟随链接。两者作用阶段不同,常配合使用。

屏蔽 AI 爬虫会影响 SEO 吗?

不会。上述预设只屏蔽 GPTBot、ClaudeBot、CCBot 等 AI 抓取机器人,百度、谷歌等搜索引擎爬虫不受影响。是否屏蔽 AI 训练抓取,取决于你对内容被用于 AI 训练的态度。