Правила для ИИ-ботов
Такие краулеры, как GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot и Google-Extended, читают robots.txt, и у каждого опубликовано собственное поведение.
Почему это важно
Указав их по именам, вы превращаете неявное правило по умолчанию в осознанное решение и можете обращаться с поисковыми краулерами иначе, чем с обучающими.
Критерий прохождения
robots.txt перечисляет известных ИИ-краулеров или содержит группу с подстановочным знаком, которая их покрывает.
Каждый запрос, который делает проверка, записывается — URL, метод, статус ответа, значимые заголовки и превью тела — и показывается под этой проверкой в результатах.
Как это реализовать
Add User-agent rules for AI crawlers like GPTBot, ClaudeBot, and Google-Extended
robots.txt перечисляет известных ИИ-краулеров или содержит группу с подстановочным знаком, которая их покрывает.
Пошаговая инструкция по внедрению входит в план Pro.
Посмотреть тарифыПроверьте свой сайт
Узнайте, проходит ли эта проверка на вашем домене, и как обстоят дела с остальными 21.