可发现性
robots.txt
robots.txt 仍是网站声明抓取政策的唯一机器可读位置，也是 Agent 最先获取的文件。文件缺失或格式无效，意味着所有爬虫都只能靠猜。
为什么重要
后续一切都建立在它之上：sitemap 引用、AI 爬虫规则和 Content Signal 都写在这个文件里。
通过标准
返回 HTTP 200，内容为纯文本且至少包含一条 User-agent 指令。
扫描器会记录什么
检查发出的每个请求都会被记录——URL、方法、响应状态、相关响应头和正文预览——并展示在结果中对应的检查项下。
检查发出的每个请求都会被记录——URL、方法、响应状态、相关响应头和正文预览——并展示在结果中对应的检查项下。
如何实施
Publish /robots.txt with clear crawl rules
返回 HTTP 200，内容为纯文本且至少包含一条 User-agent 指令。
分步实施提示词属于 Pro 计划。
查看计划扫描你的网站
看看这项检查在你的域名上是否通过，以及另外 21 项的表现。