robots.txt
robots.txt अब भी वह अकेली मशीन-पठनीय जगह है जहाँ साइट अपनी क्रॉल नीति बता सकती है, और यही चीज़ एजेंट सबसे पहले लाता है। फ़ाइल न होना या अमान्य होना मतलब हर क्रॉलर अंदाज़ा लगा रहा है।
यह क्यों मायने रखता है
आगे की हर चीज़ इसी पर टिकी है: sitemap का संदर्भ, AI क्रॉलर नियम और Content Signal, सब इसी फ़ाइल में रहते हैं।
पास मानदंड
HTTP 200 के साथ plain text लौटाता है, जिसमें कम से कम एक User-agent निर्देश हो।
जाँच जो भी अनुरोध करती है, वह सब दर्ज होता है — URL, मेथड, रिस्पॉन्स स्टेटस, संबंधित हेडर और बॉडी का प्रीव्यू — और नतीजों में उस जाँच के नीचे दिखाया जाता है।
इसे कैसे लागू करें
Publish /robots.txt with clear crawl rules
HTTP 200 के साथ plain text लौटाता है, जिसमें कम से कम एक User-agent निर्देश हो।
चरण-दर-चरण कार्यान्वयन निर्देश Pro प्लान का हिस्सा हैं।
प्लान देखेंअपनी साइट स्कैन करें
देखें कि यह जाँच आपके डोमेन पर पास होती है या नहीं, और साथ में बाकी 21 जाँचें भी।
संबंधित जाँचें
Sitemap
/sitemap.xml पर मान्य XML sitemap उपलब्ध है, या robots.txt में Sitemap: निर्देश से घोषित है।
Link हेडर
होमपेज का रिस्पॉन्स Link हेडर के साथ आता है, जिनमें कम से कम एक एजेंट-उपयोगी relation हो।
AI खोज के लिए DNS (DNS-AID)
_agents नेमस्पेस के अंतर्गत ServiceMode SVCB/HTTPS रिकॉर्ड या TXT इंडेक्स मौजूद है, आदर्श रूप में DNSSEC से साइन किया गया।