robots.txt
robots.txt resta l'unico luogo leggibile da una macchina in cui un sito può dichiarare la propria policy di scansione, ed è la prima cosa che un agente recupera. Un file mancante o non valido significa che ogni crawler tira a indovinare.
Perché è importante
Tutto il resto si appoggia a questo file: il riferimento al sitemap, le regole per i crawler AI e il Content Signal vivono tutti qui.
Criteri di superamento
Restituisce HTTP 200 con testo semplice contenente almeno una direttiva User-agent.
Ogni richiesta effettuata dal controllo viene registrata — URL, metodo, stato della risposta, header rilevanti e anteprima del corpo — e mostrata sotto il controllo nei tuoi risultati.
Come implementarlo
Publish /robots.txt with clear crawl rules
Restituisce HTTP 200 con testo semplice contenente almeno una direttiva User-agent.
Le istruzioni di implementazione passo passo fanno parte del piano Pro.
Vedi i pianiScansiona il tuo sito
Scopri se questo controllo passa sul tuo dominio, insieme agli altri 21.
Controlli correlati
Sitemap
Un sitemap XML valido è servito su /sitemap.xml, oppure dichiarato con una direttiva Sitemap: in robots.txt.
Link headers
La risposta della homepage porta Link headers con almeno una relazione utile agli agenti.
DNS for AI Discovery
Record SVCB/HTTPS in modalità ServiceMode o un indice TXT esistono sotto il namespace _agents, idealmente firmati con DNSSEC.