Güncelleme: 29 Ekim 2026
GPTBot, ClaudeBot ve diğerleri: her yapay zeka tarayıcısı açıklandı
6 motordan 12 kullanıcı aracısı adı, her birinin ne için olduğu ve onu geri çevirerek gerçekte neyi kaybettiğiniz. Bu, tarama motorumuzun kullandığı listenin aynısı.
Liste
| Kullanıcı aracısı | Motor | Ne yapar | Engellerseniz |
|---|---|---|---|
| GPTBot | ChatGPT | OpenAI modellerini eğitmek için sayfa toplar. | İçeriğinizi eğitimin dışında tutar. Sizi ChatGPT aramasından çıkarmaz. |
| OAI-SearchBot | ChatGPT | ChatGPT aramasının arkasındaki dizini kurar. | Sizi ChatGPT arama sonuçlarından çıkarır. Çoğu sitenin asıl engellememesi gereken tarayıcı budur. |
| ChatGPT-User | ChatGPT | Biri ChatGPT’den bir bağlantıyı açmasını istediğinde sayfayı anlık olarak çeker. | Bağlantınızı yapıştıran kişi geriye hiçbir şey alamaz. |
| ClaudeBot | Claude | Anthropic için sayfa toplar. | İçeriğinizi eğitim verisinin dışında tutar. |
| Claude-SearchBot | Claude | Claude’da yapılan aramalar için web’i okur. | Claude arama yaptığında sayfalarınız bulduklarının dışında kalır. |
| Claude-User | Claude | Biri Claude’a bir sayfayı sorduğunda o sayfayı çeker. | İstendiğinde Claude sayfalarınızı açamaz. |
| Google-Extended | Google AI | Sayfalarınızın Gemini’yi eğitip eğitmeyeceğini ve yapay zeka yanıtlarında görünüp görünmeyeceğini belirler. | Olağan Google Arama sıralamasını etkilemez. Ayrı bir anahtardır. |
| PerplexityBot | Perplexity | Perplexity alıntılayabilsin diye sayfaları dizine ekler. | Perplexity sizi alıntılamayı bırakır; üstelik kaynaklarını en çok gösteren motorlardan biridir. |
| Perplexity-User | Perplexity | Belirli bir soru için sayfayı anlık olarak çeker. | Sitenize anlık olarak yapılan istekler başarısız olur. |
| Applebot | Apple Intelligence | Apple’ın uzun süredir var olan tarayıcısı, Siri ve Spotlight’ın arkasında. | Yapay zeka özelliklerinin yanı sıra Siri ve Spotlight sonuçlarını da kaybedersiniz. |
| Applebot-Extended | Apple Intelligence | Yalnızca eğitimde kullanımı belirler, aramayı değil. | Sizi Apple model eğitiminin dışında tutar, Siri sonuçlarını korur. |
| CCBot | Common Crawl | Birçok modelin üzerinde eğitildiği açık veri kümesini oluşturur. | Tek bir şirketin çok ötesinde kullanılan bir veri kümesinden sizi çıkarır. |
Motora göre ve her kararın bedeli
ChatGPT
- GPTBot. OpenAI modellerini eğitmek için sayfa toplar. İçeriğinizi eğitimin dışında tutar. Sizi ChatGPT aramasından çıkarmaz.
- OAI-SearchBot. ChatGPT aramasının arkasındaki dizini kurar. Sizi ChatGPT arama sonuçlarından çıkarır. Çoğu sitenin asıl engellememesi gereken tarayıcı budur.
- ChatGPT-User. Biri ChatGPT’den bir bağlantıyı açmasını istediğinde sayfayı anlık olarak çeker. Bağlantınızı yapıştıran kişi geriye hiçbir şey alamaz.
Claude
- ClaudeBot. Anthropic için sayfa toplar. İçeriğinizi eğitim verisinin dışında tutar.
- Claude-SearchBot. Claude’da yapılan aramalar için web’i okur. Claude arama yaptığında sayfalarınız bulduklarının dışında kalır.
- Claude-User. Biri Claude’a bir sayfayı sorduğunda o sayfayı çeker. İstendiğinde Claude sayfalarınızı açamaz.
Google AI
- Google-Extended. Sayfalarınızın Gemini’yi eğitip eğitmeyeceğini ve yapay zeka yanıtlarında görünüp görünmeyeceğini belirler. Olağan Google Arama sıralamasını etkilemez. Ayrı bir anahtardır.
Perplexity
- PerplexityBot. Perplexity alıntılayabilsin diye sayfaları dizine ekler. Perplexity sizi alıntılamayı bırakır; üstelik kaynaklarını en çok gösteren motorlardan biridir.
- Perplexity-User. Belirli bir soru için sayfayı anlık olarak çeker. Sitenize anlık olarak yapılan istekler başarısız olur.
Apple Intelligence
- Applebot. Apple’ın uzun süredir var olan tarayıcısı, Siri ve Spotlight’ın arkasında. Yapay zeka özelliklerinin yanı sıra Siri ve Spotlight sonuçlarını da kaybedersiniz.
- Applebot-Extended. Yalnızca eğitimde kullanımı belirler, aramayı değil. Sizi Apple model eğitiminin dışında tutar, Siri sonuçlarını korur.
Common Crawl
- CCBot. Birçok modelin üzerinde eğitildiği açık veri kümesini oluşturur. Tek bir şirketin çok ötesinde kullanılan bir veri kümesinden sizi çıkarır.
Neredeyse herkesin yanlış bildiği ayrım
- OpenAI
- GPTBot eğitir. OAI-SearchBot arar. Eğitim botlarıyla arama botları aynı şey değildir. GPTBot model eğitimini besler. OAI-SearchBot ChatGPT aramasını besler. İlkini engellemek, yazdıklarınızı bir sonraki modelin dışında tutarken sizi bulunabilir bırakır; ikincisini engellemek, insanların gerçekte kullandığı üründe sizi görünmez yapar.
- Google-Extended, Googlebot değildir. Google da aynı biçimde ayrılıyor. Google-Extended, Gemini’yi ve yapay zeka yanıtlarını yönetir. Googlebot’un ilgilendiği olağan aramaya hiçbir etkisi yoktur. Bunlar ayrı anahtarlardır ve farklı ayarlayabilirsiniz.
Eğitimi engellerken bulunabilir kalmak
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: / Adı anılmayan her şey izinli kalır, yani OAI-SearchBot, PerplexityBot ve canlı getiriciler sizi yine bulabilir.
Sorun neden kurallarınızda olmayabilir
robots.txt ile hiçbir ilgisi olmayan üç şey tarayıcıları engeller:
- Bot koruması, dosya hiç okunmadan önce tanımadığı her şeyi doğrulamaya takar.
- Hız sınırlaması, bir tarayıcıya bir saldırı gibi davranır.
- JavaScript gerektiren içerik; bu tarayıcıların birçoğu JavaScript çalıştırmaz. Sayfa yüklenir ve boştur.
Tarayıcı kontrolü ilkini sınar. Tam kontrol hepsini sınar.
Yapay zeka tarayıcıları hakkında sorular
GPTBot nedir?
OpenAI’nin, modellerini eğitmek için web sayfası toplayan tarayıcısı. robots.txt dosyasına uyar. ChatGPT aramasının arkasındaki tarayıcı değildir, o OAI-SearchBot’tur ve ikisini karıştırmak bu konudaki en yaygın hatadır.
GPTBot için robots.txt kuralı nedir?
Engellemek için: User-agent: GPTBot, sonra Disallow: /. İzin vermek için onun adına hiçbir kural yazmayın, çünkü dosya varsayılan olarak izin verir; yalnızca istisnaları yazarsınız.
GPTBot’u engellemek SEO’ma zarar verir mi?
Hayır. Googlebot ayrı bir tarayıcıdır ve olağan arama sıralaması etkilenmez. Kaybettiğiniz, içeriğinizin model eğitiminde kullanılması.
Hangi tarayıcıyı asla engellememeliyim?
Yapay zeka yanıtlarında bulunmak istiyorsanız: OAI-SearchBot ve PerplexityBot. Bugün yanıtların çekildiği dizinleri kuran onlar.
Bu liste ne sıklıkta değişiyor?
Motorlar yılda birkaç kez yeni tarayıcı ekliyor ve adlarını değiştiriyor. Bu liste, tarama motorumuzun kullandığı liste, yani motor güncellendiğinde güncelleniyor. Son gözden geçirme: 29 Ekim 2026.
Kendi robots.txt dosyanızı kontrol edin.
Kurallarınız 12 adın her biri için kontrol edilir ve her biri için düz bir yanıt verilir.