robots.txt
robots.txt — единственное машиночитаемое место, где сайт может объявить политику сканирования, и первое, что запрашивает агент. Если файл отсутствует или недействителен, каждый краулер действует наугад.
Почему это важно
Всё остальное строится на нём: ссылка на sitemap, правила для ИИ-краулеров и Content Signal живут именно в этом файле.
Критерий прохождения
Возвращает HTTP 200 с обычным текстом, содержащим хотя бы одну директиву User-agent.
Каждый запрос, который делает проверка, записывается — URL, метод, статус ответа, значимые заголовки и превью тела — и показывается под этой проверкой в результатах.
Как это реализовать
Publish /robots.txt with clear crawl rules
Возвращает HTTP 200 с обычным текстом, содержащим хотя бы одну директиву User-agent.
Пошаговая инструкция по внедрению входит в план Pro.
Посмотреть тарифыПроверьте свой сайт
Узнайте, проходит ли эта проверка на вашем домене, и как обстоят дела с остальными 21.
Связанные проверки
Sitemap
Действительный XML-sitemap отдаётся по адресу /sitemap.xml или объявлен директивой Sitemap: в robots.txt.
Link-заголовки
Ответ главной страницы содержит Link-заголовки хотя бы с одним полезным для агента отношением.
DNS для обнаружения агентами
В пространстве имён _agents есть записи ServiceMode SVCB/HTTPS или индекс TXT, желательно подписанные DNSSEC.