発見可能性
robots.txt
robots.txt は、サイトがクロールポリシーを表明できる唯一の機械可読な場所であり、エージェントが最初に取得するファイルです。ファイルが存在しないか無効であれば、すべてのクローラーが推測に頼ることになります。
なぜ重要か
sitemap の参照、AI クローラーの規則、Content Signal はすべてこのファイルにあり、後続のすべてがここを土台にします。
合格基準
HTTP 200 を返し、平文テキストで少なくとも 1 つの User-agent 指令を含む。
スキャナーが記録するもの
チェックが行うすべてのリクエスト（URL、メソッド、レスポンス ステータス、関連ヘッダー、本文プレビュー）が記録され、結果内の該当チェックの下に表示されます。
チェックが行うすべてのリクエスト（URL、メソッド、レスポンス ステータス、関連ヘッダー、本文プレビュー）が記録され、結果内の該当チェックの下に表示されます。
実装方法
Publish /robots.txt with clear crawl rules
HTTP 200 を返し、平文テキストで少なくとも 1 つの User-agent 指令を含む。
ステップごとの実装プロンプトは Pro プランに含まれます。
プランを見るサイトをスキャン
このチェックがあなたのドメインで合格するかどうかを、残り 21 項目とあわせて確認できます。