robots.txt
robots.txt sigue siendo el único lugar legible por máquinas donde un sitio puede declarar su política de rastreo, y es lo primero que obtiene un agente. Si el archivo falta o no es válido, todos los rastreadores adivinan.
Por qué importa
Todo lo demás se apoya en él: la referencia al sitemap, las reglas para rastreadores de IA y el Content Signal viven en este archivo.
Criterio de aprobación
Devuelve HTTP 200 con texto plano que incluye al menos una directiva User-agent.
Se registra cada solicitud que hace la verificación (URL, método, estado de la respuesta, encabezados relevantes y una vista previa del cuerpo) y se muestra bajo la verificación en tus resultados.
Cómo implementarlo
Publish /robots.txt with clear crawl rules
Devuelve HTTP 200 con texto plano que incluye al menos una directiva User-agent.
La guía de implementación paso a paso forma parte del plan Pro.
Ver planesEscanea tu sitio
Comprueba si esta verificación pasa en tu dominio, junto con las otras 21.
Verificaciones relacionadas
Sitemap
Se sirve un sitemap XML válido en /sitemap.xml o se declara con una directiva Sitemap: en robots.txt.
Link headers
La respuesta de la página principal incluye encabezados Link con al menos una relación útil para agentes.
DNS para el descubrimiento de IA
Existen registros SVCB/HTTPS en modo servicio o un índice TXT bajo el espacio de nombres _agents, idealmente firmados con DNSSEC.