Controle de acesso de bots

Content Signals

O robots.txt responde "você pode rastrear". O Content Signals responde à pergunta para a qual ele nunca foi projetado: "você pode usar isto para treinamento, para respostas ao vivo, para indexação".

Por que importa

Três linhas permitem dizer sim a ser citado em uma resposta e não a servir de treinamento, em um formato que todo crawler consegue ler.

Critério de aprovação

O robots.txt declara preferências de Content-Signal cobrindo ai-train, search e ai-input.

O que o scanner registra
Cada requisição que a verificação faz é registrada — URL, método, status da resposta, cabeçalhos relevantes e uma prévia do corpo — e exibida sob a verificação nos seus resultados.

Como implementar

Declare AI content usage preferences with Content Signals in robots.txt

O robots.txt declara preferências de Content-Signal cobrindo ai-train, search e ai-input.

O passo a passo de implementação faz parte do plano Pro.

Ver planos

Escanear seu site

Veja se esta verificação passa no seu domínio, junto com as outras 21.

Escanear site

Verificações relacionadas