ボットアクセス制御
AI ボット規則
GPTBot、OAI-SearchBot、ClaudeBot、Claude-SearchBot、Google-Extended などのクローラーは robots.txt を読み、それぞれに公開された挙動があります。
なぜ重要か
明示することで、暗黙の既定値が意図的な決定に変わり、検索クローラーと学習クローラーを別扱いにできます。
合格基準
robots.txt に既知の AI クローラーを明示するか、それらを包含するワイルドカード グループを記載している。
スキャナーが記録するもの
チェックが行うすべてのリクエスト（URL、メソッド、レスポンス ステータス、関連ヘッダー、本文プレビュー）が記録され、結果内の該当チェックの下に表示されます。
チェックが行うすべてのリクエスト（URL、メソッド、レスポンス ステータス、関連ヘッダー、本文プレビュー）が記録され、結果内の該当チェックの下に表示されます。
実装方法
Add User-agent rules for AI crawlers like GPTBot, ClaudeBot, and Google-Extended
robots.txt に既知の AI クローラーを明示するか、それらを包含するワイルドカード グループを記載している。
ステップごとの実装プロンプトは Pro プランに含まれます。
プランを見るサイトをスキャン
このチェックがあなたのドメインで合格するかどうかを、残り 21 項目とあわせて確認できます。