---
title: "AI 爬虫规则 | robots.txt AI 爬虫 User-agent 规则 GPTBot ClaudeBot | Agent-Ready Check"
description: "GPTBot、OAI-SearchBot、ClaudeBot、Claude-SearchBot 和 Google-Extended 等爬虫都会读取 robots.txt，它们各自有公开的行为说明。 Pass criteria: robots.txt 中明确列出已知 AI 爬虫，或包含可覆盖它们的通配组。"
locale: zh-Hans
canonical: https://agent-ready.t0ols.com/zh/checks/ai-bot-rules/
---

# AI 爬虫规则

> Category: 机器人访问控制

GPTBot、OAI-SearchBot、ClaudeBot、Claude-SearchBot 和 Google-Extended 等爬虫都会读取 robots.txt，它们各自有公开的行为说明。

## 为什么重要

明确列出它们，就把隐式的默认值变成你主动做出的决定，也让你能区别对待搜索爬虫和训练爬虫。

## 通过标准

robots.txt 中明确列出已知 AI 爬虫，或包含可覆盖它们的通配组。

## 如何实施

Goal: Add User-agent rules for AI crawlers like GPTBot, ClaudeBot, and Google-Extended

robots.txt 中明确列出已知 AI 爬虫，或包含可覆盖它们的通配组。

The step-by-step implementation prompt is part of the paid tier. The free layer gives you the diagnosis, the evidence and the specification links.

Specifications: https://www.rfc-editor.org/rfc/rfc9309, https://developers.cloudflare.com/ai-crawl-control/
Implementation notes: https://agent-ready.t0ols.com/.well-known/agent-skills/ai-rules/SKILL.md