sitemap 的准确定位是「发现清单」:它让爬虫知道站点有哪些地址、大概什么时候更新,但收录与否取决于页面本身。多数「提交了却不收录」的情况,问题都在下面五类。
先确认格式写对了
标准 XML 结构是一段 包若干 ,每个条目至少要有 :
https://域名/about/ 2026-11-06
可选的 和 参考意义有限,可以保留但不要指望它影响排序。 要用页面真实修改时间,日期格式遵循 W3C,形如 2026-11-06 或带时区的完整时间。
超过上限时改用索引文件:单个 sitemap 的地址数量与文件体积都有公开限制(通常按不超过 5 万条、未压缩 50MB 掌握),索引文件 里列出多个子文件,按栏目拆分最容易维护。
五个导致不收录的错误
一,把跳转地址当条目。 里写的是旧地址、带 301 的地址或 http 版本,爬虫抓到跳转后不会计入提交成果。清单里只放最终可访问、返回 200 的规范地址。
二,全站 lastmod 同一天。整份文件所有页面日期一致,等于告诉爬虫「这份清单不真实」,抓取频率反而会下降。正确做法是内容实际变更时才更新对应条目。
三,把被屏蔽页写进去。robots 里 Disallow 的目录、带 noindex 的页面如果出现在清单里,会造成提交量与收录量的巨大缺口,反而拉低整站质量判断。
四,编码与命名问题。文件必须是 UTF-8 无 BOM;URL 里的中文、空格要正确转义;文件名与访问路径大小写要一致,否则在区分大小写的服务器上直接 404。
五,提交后就再没管过。sitemap 应当由程序随内容变化重新生成。手工提交一次的文件,两个月后与站点实际情况脱节,效果会迅速衰减。
验证清单
- 浏览器或
curl访问清单地址,返回 200 且Content-Type为 XML; - 用 XML 校验工具确认结构合法,任何一处标签错误都会让整份文件失效;
- 抽样二十个条目逐个请求,确认全部 200 且是规范地址;
- 在搜索引擎控制台提交并观察「已发现 / 已索引」的比例变化;
- 核对清单条目与站内实际栏目结构一致,避免新增栏目长期缺失。
常见问题
问:需要提交多份清单吗?
站点有清晰分区时值得拆开,比如内容页、产品页、案例页各一份,配合索引文件。这样某类页面出问题不会牵连全部。
问:文本格式的清单能不能代替 XML?
XML 是通用协议,覆盖面最稳。为纯文本小说明或模型抓取准备的清单是另一类用途,两者不要混用同一个文件。
请立即点击咨询我们或拨打咨询热线: 400-000-1828,我们会详细为你一一解答你心中的疑难。项目经理在线

