robots.txt
لا يزال robots.txt المكان الوحيد القابل للقراءة آليًا الذي يعلن فيه الموقع سياسة الزحف، وهو أول ما يجلبه الوكيل. ملف غائب أو غير صالح يعني أن كل زاحف يخمّن.
لماذا يهم
كل ما بعده مبني عليه: إشارة sitemap وقواعد زواحف الذكاء الاصطناعي وContent Signal كلها تسكن هذا الملف.
معيار النجاح
يعيد HTTP 200 بمحتوى نصي عادي يتضمن توجيه User-agent واحدًا على الأقل.
كل طلب يرسله الفحص يُسجَّل — الرابط والطريقة وحالة الاستجابة والترويسات ذات الصلة ومعاينة للجسم — ويُعرض تحت الفحص في نتائجك.
كيفية تنفيذه
Publish /robots.txt with clear crawl rules
يعيد HTTP 200 بمحتوى نصي عادي يتضمن توجيه User-agent واحدًا على الأقل.
تعليمات التنفيذ خطوة بخطوة جزء من خطة Pro.
عرض الخططافحص موقعك
اعرف ما إذا كان هذا الفحص ينجح على نطاقك، مع الفحوصات الـ21 الأخرى.
فحوصات ذات صلة
Sitemap
يُقدَّم sitemap XML صالح على /sitemap.xml، أو يُعلن بتوجيه Sitemap: داخل robots.txt.
Link headers
استجابة الصفحة الرئيسية تحمل ترويسات Link تضم علاقة واحدة مفيدة للوكلاء على الأقل.
DNS لاكتشاف الوكلاء (DNS-AID)
توجد سجلات SVCB/HTTPS بوضع الخدمة أو فهرس TXT تحت نطاق _agents، والأفضل أن تكون موقّعة بـ DNSSEC.