التحكم في وصول الروبوتات
قواعد زواحف الذكاء الاصطناعي
زواحف مثل GPTBot وOAI-SearchBot وClaudeBot وClaude-SearchBot وGoogle-Extended كلها تقرأ robots.txt، ولكل منها سلوك معلن.
لماذا يهم
تسميتهم تحوّل الافتراضي الضمني إلى قرار اتخذته عن قصد، وتتيح لك معاملة زواحف البحث بشكل مختلف عن زواحف التدريب.
معيار النجاح
يسمّي robots.txt زواحف ذكاء اصطناعي معروفة، أو يحمل مجموعة شاملة تغطيهم.
ما يسجله الماسح
كل طلب يرسله الفحص يُسجَّل — الرابط والطريقة وحالة الاستجابة والترويسات ذات الصلة ومعاينة للجسم — ويُعرض تحت الفحص في نتائجك.
كل طلب يرسله الفحص يُسجَّل — الرابط والطريقة وحالة الاستجابة والترويسات ذات الصلة ومعاينة للجسم — ويُعرض تحت الفحص في نتائجك.
كيفية تنفيذه
Add User-agent rules for AI crawlers like GPTBot, ClaudeBot, and Google-Extended
يسمّي robots.txt زواحف ذكاء اصطناعي معروفة، أو يحمل مجموعة شاملة تغطيهم.
تعليمات التنفيذ خطوة بخطوة جزء من خطة Pro.
عرض الخططافحص موقعك
اعرف ما إذا كان هذا الفحص ينجح على نطاقك، مع الفحوصات الـ21 الأخرى.