Управление доступом ботов
Content Signals
robots.txt отвечает на вопрос «можно ли сканировать». Content Signals отвечает на вопрос, для которого он не создавался: «можно ли использовать это для обучения, для живых ответов, для индексации».
Почему это важно
Три строки позволяют разрешить цитирование в ответах и запретить обучение на ваших данных — в форме, понятной любому краулеру.
Критерий прохождения
robots.txt объявляет предпочтения Content-Signal для ai-train, search и ai-input.
Что записывает сканер
Каждый запрос, который делает проверка, записывается — URL, метод, статус ответа, значимые заголовки и превью тела — и показывается под этой проверкой в результатах.
Каждый запрос, который делает проверка, записывается — URL, метод, статус ответа, значимые заголовки и превью тела — и показывается под этой проверкой в результатах.
Как это реализовать
Declare AI content usage preferences with Content Signals in robots.txt
robots.txt объявляет предпочтения Content-Signal для ai-train, search и ai-input.
Пошаговая инструкция по внедрению входит в план Pro.
Посмотреть тарифыПроверьте свой сайт
Узнайте, проходит ли эта проверка на вашем домене, и как обстоят дела с остальными 21.