Controllo accesso dei bot
Regole per i bot AI
Crawler come GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot e Google-Extended leggono tutti robots.txt, e ciascuno ha un comportamento pubblicato proprio.
Perché è importante
Nominarli trasforma un default implicito in una decisione presa di proposito e ti permette di trattare i crawler di ricerca in modo diverso da quelli di addestramento.
Criteri di superamento
robots.txt nomina crawler AI noti, oppure contiene un gruppo wildcard che li copre.
Che cosa registra lo scanner
Ogni richiesta effettuata dal controllo viene registrata — URL, metodo, stato della risposta, header rilevanti e anteprima del corpo — e mostrata sotto il controllo nei tuoi risultati.
Ogni richiesta effettuata dal controllo viene registrata — URL, metodo, stato della risposta, header rilevanti e anteprima del corpo — e mostrata sotto il controllo nei tuoi risultati.
Come implementarlo
Add User-agent rules for AI crawlers like GPTBot, ClaudeBot, and Google-Extended
robots.txt nomina crawler AI noti, oppure contiene un gruppo wildcard che li copre.
Le istruzioni di implementazione passo passo fanno parte del piano Pro.
Vedi i pianiScansiona il tuo sito
Scopri se questo controllo passa sul tuo dominio, insieme agli altri 21.