technine.io

工具

Robots.txt / Sitemap 检查器

检查粘贴的 robots.txt 规则或 sitemap XML，并显示基本警告。

已识别 Robots.txt
Sitemap 指令数量: 1
Disallow 指令数量: 0
- User-agent: *
- Allow: /
- Sitemap: https://technine.io/sitemap.xml

粘贴 robots.txt 或 sitemap XML，即可获得基本指令或网址位置的数量，以及一段可供检查的摘录。

使用方法

  1. 把 robots.txt 或 sitemap XML 粘贴到编辑区。
  2. 查看检测到的类型、数量和列出的摘录。
  3. 完成验证提示后，可选择保存结果。

适用场景

审核 robots 草稿
技术审核前，统计 Sitemap 和 Disallow 指令。
抽查 sitemap 导出文件
查看找到多少个 <loc>，并检查最前面的网址。

此检查器会做什么

  • 对于 sitemap XML，工具会通过简单文本方式寻找 <loc>，并列出前 20 个。
  • 对于 robots.txt，工具会统计 Sitemap 和 Disallow 行，并列出前 30 个非空行。
  • 工具不会完整验证格式、抓取线上网站或判断是否可被索引。

常见问题

可以读取已上线的 robots.txt 吗？

不可以。请粘贴需要检查的文字。

会验证所有 sitemap 规则吗？

不会。工具只会基本检测 <loc>。

Disallow 数量能反映网址是否已被索引吗？

不能。是否被索引取决于 robots 规则以外的因素。

文本一定只留在浏览器吗？

如果你选择保存，完成验证后，工具会把简短报告摘要发送到网站服务器；如果不保存，粘贴的文本只留在页面表单中。

咨询WhatsApp