机器人访问控制
AI 爬虫规则
GPTBot、OAI-SearchBot、ClaudeBot、Claude-SearchBot 和 Google-Extended 等爬虫都会读取 robots.txt，它们各自有公开的行为说明。
为什么重要
明确列出它们，就把隐式的默认值变成你主动做出的决定，也让你能区别对待搜索爬虫和训练爬虫。
通过标准
robots.txt 中明确列出已知 AI 爬虫，或包含可覆盖它们的通配组。
扫描器会记录什么
检查发出的每个请求都会被记录——URL、方法、响应状态、相关响应头和正文预览——并展示在结果中对应的检查项下。
检查发出的每个请求都会被记录——URL、方法、响应状态、相关响应头和正文预览——并展示在结果中对应的检查项下。
如何实施
Add User-agent rules for AI crawlers like GPTBot, ClaudeBot, and Google-Extended
robots.txt 中明确列出已知 AI 爬虫，或包含可覆盖它们的通配组。
分步实施提示词属于 Pro 计划。
查看计划扫描你的网站
看看这项检查在你的域名上是否通过，以及另外 21 项的表现。