robots.txt
O robots.txt ainda é o único local legível por máquina onde um site declara sua política de rastreamento, e é a primeira coisa que um agente busca. Arquivo ausente ou inválido significa que todo crawler está adivinhando.
Por que importa
Tudo o que vem depois se apoia nele: a referência ao sitemap, as regras para crawlers de IA e o Content Signal ficam todos neste arquivo.
Critério de aprovação
Retorna HTTP 200 com texto simples contendo pelo menos uma diretiva User-agent.
Cada requisição que a verificação faz é registrada — URL, método, status da resposta, cabeçalhos relevantes e uma prévia do corpo — e exibida sob a verificação nos seus resultados.
Como implementar
Publish /robots.txt with clear crawl rules
Retorna HTTP 200 com texto simples contendo pelo menos uma diretiva User-agent.
O passo a passo de implementação faz parte do plano Pro.
Ver planosEscanear seu site
Veja se esta verificação passa no seu domínio, junto com as outras 21.
Verificações relacionadas
Sitemap
Um sitemap XML válido é servido em /sitemap.xml, ou declarado com uma diretiva Sitemap: no robots.txt.
Link headers
A resposta da página inicial traz cabeçalhos Link com pelo menos uma relação útil para agentes.
DNS para descoberta por IA
Existem registros SVCB/HTTPS em ServiceMode ou um índice TXT sob o namespace _agents, de preferência assinado com DNSSEC.