robots.txt
robots.txt reste le seul endroit lisible par machine où un site peut énoncer sa politique d'exploration, et c'est le premier fichier qu'un agent récupère. Un fichier absent ou invalide signifie que chaque crawler devine.
Pourquoi c'est important
Tout le reste s'appuie dessus — la référence au sitemap, les règles pour les crawlers IA et le Content Signal vivent tous dans ce fichier.
Critères de réussite
Renvoie un HTTP 200 avec un corps en texte brut contenant au moins une directive User-agent.
Chaque requête effectuée par la vérification est enregistrée — URL, méthode, statut de réponse, en-têtes pertinents et un aperçu du corps — puis affichée sous la vérification dans vos résultats.
Comment la mettre en œuvre
Publish /robots.txt with clear crawl rules
Renvoie un HTTP 200 avec un corps en texte brut contenant au moins une directive User-agent.
Les instructions de mise en œuvre pas à pas font partie de l'offre Pro.
Voir les offresAnalysez votre site
Voyez si cette vérification passe sur votre domaine, avec les 21 autres.
Vérifications liées
Sitemap
Un sitemap XML valide est servi sur /sitemap.xml, ou déclaré par une directive Sitemap: dans robots.txt.
En-têtes Link
La réponse de la page d'accueil porte des en-têtes Link avec au moins une relation utile aux agents.
DNS pour la découverte IA (DNS-AID)
Des enregistrements ServiceMode SVCB/HTTPS ou un index TXT existent sous l'espace de noms _agents, idéalement signés par DNSSEC.