---
title: "robots.txt | robots.txt で AI クローラーを制御 | Agent-Ready Check"
description: "robots.txt は、サイトがクロールポリシーを表明できる唯一の機械可読な場所であり、エージェントが最初に取得するファイルです。ファイルが存在しないか無効であれば、すべてのクローラーが推測に頼ることになります。 Pass criteria: HTTP 200 を返し、平文テキストで少なくとも 1 つの User-agent 指令を含む。"
locale: ja
canonical: https://agent-ready.t0ols.com/ja/checks/robots-txt/
---

# robots.txt

> Category: 発見可能性

robots.txt は、サイトがクロールポリシーを表明できる唯一の機械可読な場所であり、エージェントが最初に取得するファイルです。ファイルが存在しないか無効であれば、すべてのクローラーが推測に頼ることになります。

## なぜ重要か

sitemap の参照、AI クローラーの規則、Content Signal はすべてこのファイルにあり、後続のすべてがここを土台にします。

## 合格基準

HTTP 200 を返し、平文テキストで少なくとも 1 つの User-agent 指令を含む。

## 実装方法

Goal: Publish /robots.txt with clear crawl rules

HTTP 200 を返し、平文テキストで少なくとも 1 つの User-agent 指令を含む。

The step-by-step implementation prompt is part of the paid tier. The free layer gives you the diagnosis, the evidence and the specification links.

Specifications: https://www.rfc-editor.org/rfc/rfc9309
Implementation notes: https://agent-ready.t0ols.com/.well-known/agent-skills/robots-txt/SKILL.md