机器人访问控制
Content Signals
robots.txt 回答的是“能否抓取”;Content Signals 回答的是它从未被设计来处理的问题:“能否用于训练、用于实时回答、用于建立索引”。
为什么重要
三行内容就能让你同意被引用作答、拒绝被用于训练,而且每个爬虫都能读懂。
通过标准
robots.txt 声明了覆盖 ai-train、search 和 ai-input 的 Content-Signal 偏好。
扫描器会记录什么
检查发出的每个请求都会被记录——URL、方法、响应状态、相关响应头和正文预览——并展示在结果中对应的检查项下。
检查发出的每个请求都会被记录——URL、方法、响应状态、相关响应头和正文预览——并展示在结果中对应的检查项下。
如何实施
Declare AI content usage preferences with Content Signals in robots.txt
robots.txt 声明了覆盖 ai-train、search 和 ai-input 的 Content-Signal 偏好。
分步实施提示词属于 Pro 计划。
查看计划扫描你的网站
看看这项检查在你的域名上是否通过,以及另外 21 项的表现。