حُدِّثت 29 أكتوبر 2026
GPTBot وClaudeBot وبقيتها: كل زاحف ذكاء اصطناعي، مشروحًا
12 اسم وكيل من 6 محركات، وما الغرض من كل واحد، وما الذي تخسره فعلًا بصرفه. وهذه هي القائمة نفسها التي يستخدمها محرك فحصنا.
قائمة روبوتات الذكاء الاصطناعي
| وكيل المستخدم | المحرك | ما الذي يفعله | إن حجبته |
|---|---|---|---|
| GPTBot | ChatGPT | يجمع الصفحات لتدريب نماذج OpenAI. | يبقي محتواك خارج التدريب. ولا يزيلك من بحث ChatGPT. |
| OAI-SearchBot | ChatGPT | يبني الفهرس خلف بحث ChatGPT. | يزيلك من نتائج بحث ChatGPT. وهو عادةً الذي لم تقصد حجبه. |
| ChatGPT-User | ChatGPT | يجلب الصفحة مباشرة حين يطلب مستخدم من ChatGPT فتح رابط. | المستخدم الذي يلصق رابطك لا يحصل على شيء. |
| ClaudeBot | Claude | يجمع الصفحات لـ Anthropic. | يبقي محتواك خارج بيانات التدريب. |
| Claude-SearchBot | Claude | يقرأ الويب لعمليات البحث في Claude. | تبقى صفحاتك خارج ما يجده Claude حين يبحث. |
| Claude-User | Claude | يجلب الصفحة حين يسأل أحدهم Claude عنها. | لا يستطيع Claude فتح صفحاتك حين يُطلب منه ذلك. |
| Google-Extended | Google AI | يتحكم في ما إذا كانت صفحاتك تدرّب Gemini وتظهر في إجابات الذكاء الاصطناعي. | لا يؤثر في ترتيب بحث Google العادي. فهو مفتاح منفصل. |
| PerplexityBot | Perplexity | يفهرس الصفحات ليستطيع Perplexity الاستشهاد بها. | يتوقف Perplexity عن الاستشهاد بك، وهو يستشهد كثيرًا. |
| Perplexity-User | Perplexity | يجلب الصفحة مباشرة لسؤال بعينه. | تفشل عمليات البحث المباشر في موقعك. |
| Applebot | Apple Intelligence | زاحف Apple القديم، وهو خلف Siri وSpotlight. | تخسر نتائج Siri وSpotlight إضافة إلى ميزات الذكاء الاصطناعي. |
| Applebot-Extended | Apple Intelligence | يتحكم في الاستخدام للتدريب فقط، لا في البحث. | يبقيك خارج تدريب نماذج Apple مع الإبقاء على نتائج Siri. |
| CCBot | Common Crawl | يبني مجموعة البيانات المفتوحة التي تُدرَّب عليها نماذج كثيرة. | يزيلك من مجموعة بيانات تُستخدم أبعد بكثير من أي شركة واحدة. |
بحسب المحرك، وكم يكلّف كل قرار
ChatGPT
- GPTBot. يجمع الصفحات لتدريب نماذج OpenAI. يبقي محتواك خارج التدريب. ولا يزيلك من بحث ChatGPT.
- OAI-SearchBot. يبني الفهرس خلف بحث ChatGPT. يزيلك من نتائج بحث ChatGPT. وهو عادةً الذي لم تقصد حجبه.
- ChatGPT-User. يجلب الصفحة مباشرة حين يطلب مستخدم من ChatGPT فتح رابط. المستخدم الذي يلصق رابطك لا يحصل على شيء.
Claude
- ClaudeBot. يجمع الصفحات لـ Anthropic. يبقي محتواك خارج بيانات التدريب.
- Claude-SearchBot. يقرأ الويب لعمليات البحث في Claude. تبقى صفحاتك خارج ما يجده Claude حين يبحث.
- Claude-User. يجلب الصفحة حين يسأل أحدهم Claude عنها. لا يستطيع Claude فتح صفحاتك حين يُطلب منه ذلك.
Google AI
- Google-Extended. يتحكم في ما إذا كانت صفحاتك تدرّب Gemini وتظهر في إجابات الذكاء الاصطناعي. لا يؤثر في ترتيب بحث Google العادي. فهو مفتاح منفصل.
Perplexity
- PerplexityBot. يفهرس الصفحات ليستطيع Perplexity الاستشهاد بها. يتوقف Perplexity عن الاستشهاد بك، وهو يستشهد كثيرًا.
- Perplexity-User. يجلب الصفحة مباشرة لسؤال بعينه. تفشل عمليات البحث المباشر في موقعك.
Apple Intelligence
- Applebot. زاحف Apple القديم، وهو خلف Siri وSpotlight. تخسر نتائج Siri وSpotlight إضافة إلى ميزات الذكاء الاصطناعي.
- Applebot-Extended. يتحكم في الاستخدام للتدريب فقط، لا في البحث. يبقيك خارج تدريب نماذج Apple مع الإبقاء على نتائج Siri.
Common Crawl
- CCBot. يبني مجموعة البيانات المفتوحة التي تُدرَّب عليها نماذج كثيرة. يزيلك من مجموعة بيانات تُستخدم أبعد بكثير من أي شركة واحدة.
الفرق الذي يخطئ فيه الجميع تقريبًا
- OpenAI
- GPTBot يدرّب. وOAI-SearchBot يبحث. وكلاء التدريب ووكلاء البحث ليسوا الشيء نفسه. فـ GPTBot يغذّي تدريب النماذج. وOAI-SearchBot يغذّي بحث ChatGPT. وحجب الأول يبقي كتابتك خارج النموذج التالي مع إبقائك قابلًا للعثور؛ وحجب الثاني يجعلك غير مرئي في المنتج الذي يستخدمه الناس فعلًا.
- Google-Extended ليس Googlebot. وGoogle تنقسم بالطريقة نفسها. فـ Google-Extended يحكم Gemini وإجابات الذكاء الاصطناعي. ولا أثر له في البحث العادي، الذي يتولاه Googlebot. وهما مفتاحان منفصلان وتستطيع ضبط كل منهما على حدة.
حجب التدريب مع البقاء قابلًا للعثور
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: / وكل ما لا يُسمّى يبقى مسموحًا، فيستطيع OAI-SearchBot وPerplexityBot والجالبون المباشرون العثور عليك.
لماذا قد لا تكون قواعدك هي المشكلة
ثلاثة أمور تحجب الزواحف ولا علاقة لـ robots.txt بها:
- الحماية من الروبوتات التي تتحدى كل ما لا تتعرف عليه، قبل أن يُقرأ الملف أصلًا.
- تحديد المعدل الذي يعامل الزاحف كأنه هجوم.
- محتوى يحتاج JavaScript، وعدة وكلاء من هؤلاء لا يشغّلونه. فتُحمَّل الصفحة وتكون فارغة.
ومدقق الزواحف يختبر الأول. والفحص الكامل يختبرها كلها.
أسئلة عن زواحف الذكاء الاصطناعي
ما هو GPTBot؟
زاحف OpenAI لجمع صفحات الويب لتدريب نماذجها. وهو يطيع robots.txt. وليس هو الوكيل خلف بحث ChatGPT، وذاك OAI-SearchBot، والخلط بينهما أكثر الأخطاء شيوعًا في هذا الباب.
ما قاعدة robots.txt الخاصة بـ GPTBot؟
لحجبه: User-agent: GPTBot ثم Disallow: /. وللسماح له، لا تضع له قاعدة إطلاقًا، لأن الملف يعمل بالاستثناء.
هل يضر حجب GPTBot بالـ SEO لديّ؟
لا. فـ Googlebot وكيل منفصل وترتيب البحث العادي لا يتأثر. وما تخسره هو استخدام محتواك في تدريب النماذج.
أي زاحف لا ينبغي أن أحجبه أبدًا؟
إن أردت أن يُعثر عليك في إجابات الذكاء الاصطناعي: OAI-SearchBot وPerplexityBot. فهما اللذان يبنيان الفهارس التي تُستقى منها الإجابات اليوم.
كم مرة تتغير هذه القائمة؟
المحركات تضيف وكلاء وتعيد تسميتهم بضع مرات في السنة. وهذه القائمة هي التي يستخدمها محرك فحصنا، فتُحدَّث حين يُحدَّث. وآخر مراجعة 29 أكتوبر 2026.
افحص ملف robots.txt لديك.
قواعدك مقروءة مقابل الأسماء الـ 12 كلها، مع جواب صريح لكل واحد.