افحص موقعك مجانًا افحص موقعك
كيف يعمل نموذج تقرير تواصل معنا

أداة مجانية · أقل من دقيقة

هل يستطيع ChatGPT قراءة موقعك؟ افحص في خمس ثوانٍ

نقرأ robots.txt لديك ونختبره مقابل 12 زاحفًا مسمّى من 6 محركات ذكاء اصطناعي، ثم نخبرك أيها تصدّ.

مجاني، وفوري، ولا نطلب منك شيئًا في النهاية.

الزواحف التي نفحصها، وعددها 12

السماح لكل واحد أو حجبه قرار حقيقي له نتيجة حقيقية. وهذه هي النتيجة، مذكورة مرة لكل زاحف.

وكيل المستخدم المحرك ماذا يفعل إن حجبته
GPTBot ChatGPT يجمع الصفحات لتدريب نماذج OpenAI. يبقي محتواك خارج التدريب. ولا يزيلك من بحث ChatGPT.
OAI-SearchBot ChatGPT يبني الفهرس خلف بحث ChatGPT. يزيلك من نتائج بحث ChatGPT. وهو عادةً الذي لم تقصد حجبه.
ChatGPT-User ChatGPT يجلب الصفحة مباشرة حين يطلب مستخدم من ChatGPT فتح رابط. المستخدم الذي يلصق رابطك لا يحصل على شيء.
ClaudeBot Claude يجمع الصفحات لـ Anthropic. يبقي محتواك خارج بيانات التدريب.
Claude-SearchBot Claude يقرأ الويب لعمليات البحث في Claude. تبقى صفحاتك خارج ما يجده Claude حين يبحث.
Claude-User Claude يجلب الصفحة حين يسأل أحدهم Claude عنها. لا يستطيع Claude فتح صفحاتك حين يُطلب منه ذلك.
Google-Extended Google AI يتحكم في ما إذا كانت صفحاتك تدرّب Gemini وتظهر في إجابات الذكاء الاصطناعي. لا يؤثر في ترتيب بحث Google العادي. فهو مفتاح منفصل.
PerplexityBot Perplexity يفهرس الصفحات ليستطيع Perplexity الاستشهاد بها. يتوقف Perplexity عن الاستشهاد بك، وهو يستشهد كثيرًا.
Perplexity-User Perplexity يجلب الصفحة مباشرة لسؤال بعينه. تفشل عمليات البحث المباشر في موقعك.
Applebot Apple Intelligence (ثانوي) زاحف Apple القديم، وهو خلف Siri وSpotlight. تخسر نتائج Siri وSpotlight إضافة إلى ميزات الذكاء الاصطناعي.
Applebot-Extended Apple Intelligence (ثانوي) يتحكم في الاستخدام للتدريب فقط، لا في البحث. يبقيك خارج تدريب نماذج Apple مع الإبقاء على نتائج Siri.
CCBot Common Crawl (ثانوي) يبني مجموعة البيانات المفتوحة التي تُدرَّب عليها نماذج كثيرة. يزيلك من مجموعة بيانات تُستخدم أبعد بكثير من أي شركة واحدة.

الأربعة الموسومة بثانوي تغيّر القليل في قدرة محرك على الإجابة عن أسئلة بشأنك اليوم. أما البقية فتغيّر.

كيف تسمح بأرشفة الموقع لكل زاحف ذكاء اصطناعي

لا تضع قاعدة تسمّيها. فـrobots.txt الذي لا يذكر GPTBot يسمح لـ GPTBot، لأن الملف يعمل بالاستثناء.

كيف تحجب التدريب وتُبقي البحث

هذا ما يريده فعلًا معظم الناشرين الذين يفكرون في الأمر. احجب وكلاء التدريب، واسمح لوكلاء البحث:

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

وهذا يترك OAI-SearchBot وPerplexityBot والجالبين المباشرين أحرارًا في إيجادك، فتبقى قابلًا للاستشهاد بك في الإجابات دون أن تغذّي صفحاتك النموذج التالي.

الخطأ الذي نراه أكثر من غيره

قاعدة شاملة User-agent: * مع Disallow: / بقيت من موقع تجريبي، أو إضافة أمان تحجب كل ما لا تعرفه. ولم يكن أي منهما قرارًا اتخذه أحد بشأن الذكاء الاصطناعي، وكلاهما سبب أن مواقع تريد أن تُوجد لا تُوجد.

أسئلة عن زواحف الذكاء الاصطناعي

هل يستطيع ChatGPT قراءة موقعي؟

إن كان robots.txt لديك يسمح لـ GPTBot وOAI-SearchBot، ولم تكن صفحتك بحاجة إلى JavaScript لعرض نصها، فنعم. وهذا الفحص يجيب عن ذلك لموقعك في ثوانٍ.

ما سطر robots.txt الخاص بـ GPTBot؟

للسماح له، أبسط جواب ألا تكون هناك قاعدة تسمّيه إطلاقًا. ولحجبه: User-agent: GPTBot في سطر وDisallow: / في التالي.

هل حجب GPTBot يزيلني من ChatGPT؟

لا، وهذا أكثر سوء فهم شيوعًا. فـ GPTBot يخص التدريب. وبحث ChatGPT يستخدم OAI-SearchBot، وهو اسم منفصل وقرار منفصل.

هل Google-Extended يؤثر في ترتيبي على Google؟

لا. فهو يتحكم في ما إذا كانت صفحاتك تغذّي Gemini وإجابات Google الذكية. أما ترتيب البحث العادي فيحكمه Googlebot ولا يمسّه.

أنا أسمح بكل شيء. فلماذا لا يُستخدم محتواي؟

عادةً أحد ثلاثة: حماية من الروبوتات تتحدى الزاحف قبل أن يهمّ robots.txt، أو نص لا يوجد إلا بعد تشغيل JavaScript، أو صفحة لا تذكر قط ما هو النشاط. والفحص الكامل يختبر الثلاثة.

وصول الزواحف فحص واحد من خمسة.

الفحص الكامل يغطي أيضًا البنية والفهم والسرعة والأمان، ويعرض ما يكلّفك كل واحد.

ابدأ الفحص المجاني