---
title: "robots.txt | robots.txt AI क्रॉलर नियम | Agent-Ready Check"
description: "robots.txt अब भी वह अकेली मशीन-पठनीय जगह है जहाँ साइट अपनी क्रॉल नीति बता सकती है, और यही चीज़ एजेंट सबसे पहले लाता है। फ़ाइल न होना या अमान्य होना मतलब हर क्रॉलर अंदाज़ा लगा रहा है। Pass criteria: HTTP 200 के साथ plain text लौटाता है, जिसमें कम से कम एक User-agent निर्देश हो।"
locale: hi
canonical: https://agent-ready.t0ols.com/hi/checks/robots-txt/
---

# robots.txt

> Category: खोजयोग्यता

robots.txt अब भी वह अकेली मशीन-पठनीय जगह है जहाँ साइट अपनी क्रॉल नीति बता सकती है, और यही चीज़ एजेंट सबसे पहले लाता है। फ़ाइल न होना या अमान्य होना मतलब हर क्रॉलर अंदाज़ा लगा रहा है।

## यह क्यों मायने रखता है

आगे की हर चीज़ इसी पर टिकी है: sitemap का संदर्भ, AI क्रॉलर नियम और Content Signal, सब इसी फ़ाइल में रहते हैं।

## पास मानदंड

HTTP 200 के साथ plain text लौटाता है, जिसमें कम से कम एक User-agent निर्देश हो।

## इसे कैसे लागू करें

Goal: Publish /robots.txt with clear crawl rules

HTTP 200 के साथ plain text लौटाता है, जिसमें कम से कम एक User-agent निर्देश हो।

The step-by-step implementation prompt is part of the paid tier. The free layer gives you the diagnosis, the evidence and the specification links.

Specifications: https://www.rfc-editor.org/rfc/rfc9309
Implementation notes: https://agent-ready.t0ols.com/.well-known/agent-skills/robots-txt/SKILL.md