站点面向 AI 抓取的一个较新约定是在根目录提供一份纯文本的 llms.txt:不取代站点清单,也不影响传统收录,它解决的问题是让模型在有限抓取里尽快明白「这个站讲什么、最该看哪几页」。
文件格式
纯文本、Markdown 结构,从上到下依次是:
- 一级标题:站点或机构名称(这一句会被当作主体识别);
- 一段引用(以
>开头):一句话说清这个站点提供什么; - 若干正文段落:补充背景、适用范围;
- 二级标题分段:
## 主要服务、## 案例、## 知识、## Optional; - 每段下是链接行:
- [页面标题](https://绝对地址): 一句话说明
三个硬性要点:地址必须是绝对 URL;每条说明要独立成句(被摘出来仍能理解);总量控制,通常几十条到一两百条,把最重要的页面放前面。
与其他两份文件的分工
robots.txt管「可以抓哪里」,是权限;- 站点清单管「有哪些地址」,是全量发现;
llms.txt管「哪些最该看」,是优先级与摘要。
三者不冲突。若同时提供,站点清单的绝对地址应在 robots 里声明,而 llms.txt 本身通常标记为不需要被搜索索引,避免它成为一份可被检索的重复清单。
生成时的四个坑
一,输出未替换的模板占位符。如果站点标题、关键词里含变量占位符,纯文本接口往往绕过了正常的替换流程,结果清单里留下字面占位符。这类接口需要在输出前自行完成替换。
二,多分站输出同一份内容。几十个分站提供完全一致的清单,等于放弃差异化。每条链接应指向各自域名下的地址,实体信息也应本地化。
三,把外链栏目当作站内内容。跳转站外的页面不属于本站,不应出现在清单里。
四,无节制地罗列全量地址。它是导览不是全量索引,堆到几千条会同时失去摘要价值和抓取效率。
可维护的做法
由程序从现有数据生成,而不是手写维护:按栏目顺序取名称与摘要,内容页按每栏限定的条数取最新,说明文字取后台已填的摘要字段并截断到合理长度,链接走统一的地址生成函数(这样动态、伪静态、静态三种模式都不用特殊处理)。开关配置放在后台,随时可关。
验证方式也简单:分别用主域名和分站域名各取一次,比对首行标题、链接域名、以及是否残留占位符——这三项通过,文件才算可用。
请立即点击咨询我们或拨打咨询热线: 400-000-1828,我们会详细为你一一解答你心中的疑难。项目经理在线

