---
title: "robots.txt | robots.txt 로 AI 크롤러 규칙 설정 | Agent-Ready Check"
description: "robots.txt는 사이트가 크롤링 정책을 선언할 수 있는 유일한 기계 판독 위치이며, 에이전트가 가장 먼저 가져오는 파일입니다. 파일이 없거나 형식이 잘못되면 모든 크롤러가 추측에 의존하게 됩니다. Pass criteria: HTTP 200을 반환하고, 최소 하나의 User-agent 지시문을 포함한 일반 텍스트여야 합니다."
locale: ko
canonical: https://agent-ready.t0ols.com/ko/checks/robots-txt/
---

# robots.txt

> Category: 검색 가능성

robots.txt는 사이트가 크롤링 정책을 선언할 수 있는 유일한 기계 판독 위치이며, 에이전트가 가장 먼저 가져오는 파일입니다. 파일이 없거나 형식이 잘못되면 모든 크롤러가 추측에 의존하게 됩니다.

## 중요한 이유

이후의 모든 것이 이 파일 위에 세워집니다: sitemap 참조, AI 크롤러 규칙과 Content Signal이 모두 여기에 있습니다.

## 통과 기준

HTTP 200을 반환하고, 최소 하나의 User-agent 지시문을 포함한 일반 텍스트여야 합니다.

## 구현 방법

Goal: Publish /robots.txt with clear crawl rules

HTTP 200을 반환하고, 최소 하나의 User-agent 지시문을 포함한 일반 텍스트여야 합니다.

The step-by-step implementation prompt is part of the paid tier. The free layer gives you the diagnosis, the evidence and the specification links.

Specifications: https://www.rfc-editor.org/rfc/rfc9309
Implementation notes: https://agent-ready.t0ols.com/.well-known/agent-skills/robots-txt/SKILL.md