---
title: "robots.txt | robots.txt правила для ИИ-краулеров | Agent-Ready Check"
description: "robots.txt — единственное машиночитаемое место, где сайт может объявить политику сканирования, и первое, что запрашивает агент. Если файл отсутствует или недействителен, каждый краулер действует наугад. Pass criteria: Возвращает HTTP 200 с обычным текстом, содержащим хотя бы одну директиву User-agen"
locale: ru
canonical: https://agent-ready.t0ols.com/ru/checks/robots-txt/
---

# robots.txt

> Category: Обнаруживаемость

robots.txt — единственное машиночитаемое место, где сайт может объявить политику сканирования, и первое, что запрашивает агент. Если файл отсутствует или недействителен, каждый краулер действует наугад.

## Почему это важно

Всё остальное строится на нём: ссылка на sitemap, правила для ИИ-краулеров и Content Signal живут именно в этом файле.

## Критерий прохождения

Возвращает HTTP 200 с обычным текстом, содержащим хотя бы одну директиву User-agent.

## Как это реализовать

Goal: Publish /robots.txt with clear crawl rules

Возвращает HTTP 200 с обычным текстом, содержащим хотя бы одну директиву User-agent.

The step-by-step implementation prompt is part of the paid tier. The free layer gives you the diagnosis, the evidence and the specification links.

Specifications: https://www.rfc-editor.org/rfc/rfc9309
Implementation notes: https://agent-ready.t0ols.com/.well-known/agent-skills/robots-txt/SKILL.md