Control de acceso para bots
Reglas para bots de IA
Rastreadores como GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot y Google-Extended leen robots.txt, y cada uno tiene su propio comportamiento publicado.
Por qué importa
Nombrarlos convierte un valor implícito en una decisión que tomaste a propósito y te permite tratar distinto a los rastreadores de búsqueda y a los de entrenamiento.
Criterio de aprobación
robots.txt nombra rastreadores de IA conocidos o incluye un grupo comodín que los cubre.
Qué registra el escáner
Se registra cada solicitud que hace la verificación (URL, método, estado de la respuesta, encabezados relevantes y una vista previa del cuerpo) y se muestra bajo la verificación en tus resultados.
Se registra cada solicitud que hace la verificación (URL, método, estado de la respuesta, encabezados relevantes y una vista previa del cuerpo) y se muestra bajo la verificación en tus resultados.
Cómo implementarlo
Add User-agent rules for AI crawlers like GPTBot, ClaudeBot, and Google-Extended
robots.txt nombra rastreadores de IA conocidos o incluye un grupo comodín que los cubre.
La guía de implementación paso a paso forma parte del plan Pro.
Ver planesEscanea tu sitio
Comprueba si esta verificación pasa en tu dominio, junto con las otras 21.