---
title: "AI 봇 규칙 | robots.txt AI 봇 User-agent 규칙 GPTBot ClaudeBot | Agent-Ready Check"
description: "GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, Google-Extended 같은 크롤러는 모두 robots.txt를 읽으며, 각자 공개된 동작 방식을 가지고 있습니다. Pass criteria: robots.txt가 알려진 AI 크롤러를 명시하거나, 이들을 포괄하는 와일드카드 그룹을 포함해야 합니다."
locale: ko
canonical: https://agent-ready.t0ols.com/ko/checks/ai-bot-rules/
---

# AI 봇 규칙

> Category: 봇 접근 제어

GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, Google-Extended 같은 크롤러는 모두 robots.txt를 읽으며, 각자 공개된 동작 방식을 가지고 있습니다.

## 중요한 이유

이들을 명시하면 암묵적인 기본값이 의도적인 결정이 되고, 검색 크롤러와 학습 크롤러를 다르게 취급할 수 있습니다.

## 통과 기준

robots.txt가 알려진 AI 크롤러를 명시하거나, 이들을 포괄하는 와일드카드 그룹을 포함해야 합니다.

## 구현 방법

Goal: Add User-agent rules for AI crawlers like GPTBot, ClaudeBot, and Google-Extended

robots.txt가 알려진 AI 크롤러를 명시하거나, 이들을 포괄하는 와일드카드 그룹을 포함해야 합니다.

The step-by-step implementation prompt is part of the paid tier. The free layer gives you the diagnosis, the evidence and the specification links.

Specifications: https://www.rfc-editor.org/rfc/rfc9309, https://developers.cloudflare.com/ai-crawl-control/
Implementation notes: https://agent-ready.t0ols.com/.well-known/agent-skills/ai-rules/SKILL.md