Contrôle d'accès des bots
Règles pour les robots IA
Des crawlers comme GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot et Google-Extended lisent tous robots.txt, et chacun a un comportement publié qui lui est propre.
Pourquoi c'est important
Les nommer transforme un défaut implicite en une décision assumée, et vous permet de traiter les crawlers de recherche autrement que les crawlers d'entraînement.
Critères de réussite
robots.txt nomme des crawlers IA connus, ou contient un groupe générique qui les couvre.
Ce que le scanner enregistre
Chaque requête effectuée par la vérification est enregistrée — URL, méthode, statut de réponse, en-têtes pertinents et un aperçu du corps — puis affichée sous la vérification dans vos résultats.
Chaque requête effectuée par la vérification est enregistrée — URL, méthode, statut de réponse, en-têtes pertinents et un aperçu du corps — puis affichée sous la vérification dans vos résultats.
Comment la mettre en œuvre
Add User-agent rules for AI crawlers like GPTBot, ClaudeBot, and Google-Extended
robots.txt nomme des crawlers IA connus, ou contient un groupe générique qui les couvre.
Les instructions de mise en œuvre pas à pas font partie de l'offre Pro.
Voir les offresAnalysez votre site
Voyez si cette vérification passe sur votre domaine, avec les 21 autres.