AI 抓取你的站点时,面对的是和搜索引擎一样的海量 URL,但它没有几十年积累的站点理解。llms.txt 相当于在门口放一张导览图:告诉 AI 我是谁、哪些页面最重要、分别讲什么。本篇讲怎么写一份真正有用的 llms.txt。
一、llms.txt 是什么、不是什么
llms.txt 是一份约定格式的 markdown 文件:顶部一行站点名称与定位,然后按模块列出重点页面的链接与一句说明。它的设计目的就是让大模型在有限的上下文里快速抓住站点要点。
要认清它的性质:建议信号而非强制标准。不是所有引擎都会读取它,但它成本极低、没有副作用,且采用的引擎在增加——属于「做了不亏」的基础配置。
它也不替代 robots 与 sitemap:robots 管抓取权限,sitemap 管全量 URL,llms.txt 管「重点与语义」。三者分工不同,互相配合。
二、一份合格的 llms.txt 长什么样
结构建议:第一行 H1 写站点名与定位(含品牌核心关键词);随后按业务模块分 H2 小节(如产品、解决方案、行业知识、常见问题),每节列出 5–10 个核心页面的链接,每个链接后跟一句话说明。
写说明句时用「页面回答什么问题」的表述,而不是页面标题复读——AI 需要的是语义索引,不是目录复述。
控制在合理长度:整个文件以 AI 一次上下文能读完为宜(通常几十行)。它是一张「导览图」,不是「全站目录」——全量 URL 交给 sitemap。
三、落地步骤
第一步:盘核心页。把站点按业务模块分组,每模块挑出最值得 AI 优先看到的页面(产品主页、核心问答、数据/方法论页)。
第二步:写文件并上传。按格式生成 llms.txt 上传到根目录,确认 https://你的域名/llms.txt 可以直接访问。
第三步:纳入维护。内容结构变化(新模块、核心页调整)时同步更新 llms.txt;把它加进发布检查清单,与 sitemap 更新绑定。
四、进阶与验证
可选配套 llms-full.txt:把核心内容的完整文本合并为一个大文件,供支持「全文模式」的引擎使用;站点内容不多时可以先不做,优先保证 llms.txt 质量。
验证方式:在各 AI 引擎问「XX 网站是做什么的 / 有哪些核心内容」,观察回答是否引用了 llms.txt 中强调的定位与页面;同时留意日志中对 /llms.txt 的请求。
保持耐心与持续:llms.txt 是降低理解成本的信号之一,它的价值会在「内容质量 + 权威信号 + 技术可及」的整体配合中显现。