أداة مجانية · فورية
مختبر robots.txt ما الذي تقوله قواعدك فعلًا
نقرأ كل مجموعة في ملفك، ونقول ما تفعله كل قاعدة، ونشير إلى الأسطر التي تتجاهلها الزواحف، ونعرض لك الأسطر الناقصة في ملفك.
ما الذي نفحصه
-
المجموعات
كل مجموعة User-agent، وأي القواعد تنتمي إليها.
-
القواعد اليتيمة
القواعد الواقعة فوق أول مجموعة، ولا يطبّقها أي زاحف.
-
التوجيهات المخترعة
توجيهات غير حقيقية، تتجاهلها الزواحف دون اعتراض.
-
Disallow فارغ
Disallow: فارغ، وهو يسمح لا يحجب.
-
Noindex
Noindex:، ولم يفعل شيئًا منذ 2019.
-
سطر خريطة الموقع
هل يوجد سطر Sitemap: أصلًا.
والأسطر الناقصة في ملفك
- حين يكون هناك خطأ
- نسلّمك الأسطر التي تضيفها. إن كانت مجموعة * لديك تحوي قواعد تطال زواحف الذكاء الاصطناعي، نعطيك أسطر User-agent التي تمرر المسمّاة منها دون المساس بأي شيء آخر كتبته.
- حين لا يكون هناك خطأ
- لا نقول شيئًا إطلاقًا. إن كان ملفك سليمًا أصلًا، فلا نقول شيئًا. والأداة التي تسلّمك اثني عشر سطرًا من النصائح لملف لا عيب فيه حشو لا مساعدة.
أسئلة عن robots.txt
ماذا يفعل مختبر robots.txt؟
يقرأ ملفك ويخبرك بما يقوله فعلًا، لا بما قصدته. فمعظم مشكلات robots.txt ليست أخطاء إملائية؛ بل قواعد صحيحة لا تفعل شيئًا بصمت، أو تفعل عكس ما تبدو عليه.
لماذا لا يعمل ملف robots.txt لديّ؟
الأسباب الثلاثة المعتادة. قاعدة تقع فوق أول سطر User-agent، فلا يطالب بها أي زاحف. أو توجيه مكتوب خطأً، وكل ما لا يتعرف عليه الزاحف يتجاهله دون اعتراض. أو Disallow: فارغ يُقرأ على أنه سماح بكل شيء، وهو صحيح ونادرًا جدًا ما يكون ما أراده الكاتب.
هل Disallow بلا شيء بعده يحجب أم يسمح؟
يسمح. فـ Disallow: بقيمة فارغة يسمح بالموقع كله؛ وDisallow: / يحجبه. حرف واحد بينهما، وهما نقيضان. وهذا الفحص يشير إلى الصيغة الفارغة أينما ظهرت.
هل أستطيع استخدام noindex في robots.txt؟
لا. أوقفت Google دعمه في 2019 ولم يعمل بموثوقية في غيرها قط. وسطر Noindex: في robots.txt لا يفعل شيئًا إطلاقًا؛ وسم meta robots في الصفحة هو ما يعمل. ونشير إليه إن كان لديك واحد.
كيف أمرّر زواحف الذكاء الاصطناعي مع الإبقاء على بقية القواعد؟
سمِّها. فمجموعة User-agent لزاحف بعينه تتجاوز مجموعة * لذلك الزاحف وحده، فتستطيع الإبقاء على ما لديك وتمرير 12 من وكلاء الذكاء الاصطناعي المسمّين عبر 6 محركات. وهذه الأداة تعطيك تلك الأسطر، معبّأة مما ينقص ملفك.
هل هذه الأداة هي نفسها مدقق زواحف الذكاء الاصطناعي؟
لا، والفرق يستحق الصفحتين. ذاك يجيب عن أي محركات الذكاء الاصطناعي تستطيع الوصول إليك ولا يقول شيئًا عن ملفك. وهذا يجيب عما إذا كان الملف نفسه صحيحًا، لكل زاحف لا لزواحف الذكاء الاصطناعي وحدها.
الملف صحيح وما زلت محجوبًا؟
مدقق الزواحف يقرأ قواعدك مقابل كل وكيل ذكاء اصطناعي مسمّى ويخبرك أيها يدخل.