Qeel SEO Tools
Robots.txt 与 Sitemap 在线检测
检查目标网站的 robots.txt 是否可访问、有效规则数量、 robots.txt 中声明的 Sitemap 地址，以及默认 sitemap.xml 是否返回有效的网站地图结构。
等待检查
Robots.txt 是什么？
robots.txt 位于网站根目录，用于向搜索引擎爬虫声明抓取规则。 常见指令包括 User-agent、Allow、Disallow 和 Sitemap。 它主要用于抓取管理，不等同于访问权限控制。
常见 Robots 指令
| 指令 | 作用 |
|---|---|
| User-agent | 指定规则适用的搜索引擎爬虫。 |
| Disallow | 声明希望对应爬虫不要抓取的路径。 |
| Allow | 在部分限制规则中明确允许抓取特定路径。 |
| Sitemap | 声明 XML Sitemap 的完整地址。 |
Sitemap 检测说明
Qeel 会同时请求网站根目录的 sitemap.xml，
并检查响应内容是否包含标准的
<urlset> 或
<sitemapindex> 结构。
如果网站使用其他 Sitemap 地址，请同时参考 robots.txt 中声明的 Sitemap。