Controle de acesso de bots
Regras para bots de IA
Crawlers como GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot e Google-Extended leem o robots.txt, e cada um tem comportamento publicado próprio.
Por que importa
Nomeá-los transforma um padrão implícito em uma decisão tomada de propósito, e permite tratar crawlers de busca de forma diferente dos de treinamento.
Critério de aprovação
O robots.txt nomeia crawlers de IA conhecidos, ou traz um grupo curinga que os cobre.
O que o scanner registra
Cada requisição que a verificação faz é registrada — URL, método, status da resposta, cabeçalhos relevantes e uma prévia do corpo — e exibida sob a verificação nos seus resultados.
Cada requisição que a verificação faz é registrada — URL, método, status da resposta, cabeçalhos relevantes e uma prévia do corpo — e exibida sob a verificação nos seus resultados.
Como implementar
Add User-agent rules for AI crawlers like GPTBot, ClaudeBot, and Google-Extended
O robots.txt nomeia crawlers de IA conhecidos, ou traz um grupo curinga que os cobre.
O passo a passo de implementação faz parte do plano Pro.
Ver planosEscanear seu site
Veja se esta verificação passa no seu domínio, junto com as outras 21.