首页 » 谷歌SEO专题 » 技术SEO

谷歌SEO知识点 · 技术SEO

robots.txt

robots.txt 用于告诉爬虫哪些目录可以或不可以抓取。

分类：技术SEO

发布于 2026-03-26 11:22

源自 LCP 深度分析系列

一分钟结论

作用于抓取层非索引层
位置固定于根目录
误用会导致不被抓取

核心要点

作用于抓取层非索引层
位置固定于根目录
误用会导致不被抓取

最佳实践

屏蔽无价值参数与后台
勿拦CSS/JS等资源
用GSC robots测试工具校验

常见误区

用robots阻止已被索引页
拼写错误导致全站拦截

小贴士：要“不进结果”用noindex，不是robots。

相关专题

抓取Crawling noindex meta robots

← 返回谷歌SEO专题导航