बॉट पहुँच नियंत्रण
AI बॉट नियम
GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot और Google-Extended जैसे क्रॉलर robots.txt पढ़ते हैं, और हर एक का अपना प्रकाशित व्यवहार है।
यह क्यों मायने रखता है
नाम लेने से एक अंतर्निहित डिफ़ॉल्ट आपका जान-बूझकर लिया गया फ़ैसला बन जाता है, और आप सर्च क्रॉलरों के साथ ट्रेनिंग क्रॉलरों से अलग व्यवहार कर सकते हैं।
पास मानदंड
robots.txt में ज्ञात AI क्रॉलरों के नाम हैं, या ऐसा वाइल्डकार्ड ग्रुप है जो उन्हें कवर करता है।
स्कैनर क्या दर्ज करता है
जाँच जो भी अनुरोध करती है, वह सब दर्ज होता है — URL, मेथड, रिस्पॉन्स स्टेटस, संबंधित हेडर और बॉडी का प्रीव्यू — और नतीजों में उस जाँच के नीचे दिखाया जाता है।
जाँच जो भी अनुरोध करती है, वह सब दर्ज होता है — URL, मेथड, रिस्पॉन्स स्टेटस, संबंधित हेडर और बॉडी का प्रीव्यू — और नतीजों में उस जाँच के नीचे दिखाया जाता है।
इसे कैसे लागू करें
Add User-agent rules for AI crawlers like GPTBot, ClaudeBot, and Google-Extended
robots.txt में ज्ञात AI क्रॉलरों के नाम हैं, या ऐसा वाइल्डकार्ड ग्रुप है जो उन्हें कवर करता है।
चरण-दर-चरण कार्यान्वयन निर्देश Pro प्लान का हिस्सा हैं।
प्लान देखेंअपनी साइट स्कैन करें
देखें कि यह जाँच आपके डोमेन पर पास होती है या नहीं, और साथ में बाकी 21 जाँचें भी।