Ücretsiz araç · bir dakikadan kısa
ChatGPT web sitenizi okuyabiliyor mu? Beş saniyede kontrol edin
robots.txt dosyanızı okur, 6 yapay zeka motorunun adıyla bilinen 12 tarayıcısı için tek tek sınar ve hangilerini geri çevirdiğinizi söyleriz.
Kontrol ettiğimiz 12 tarayıcı
Her birine izin vermek ya da engellemek, gerçek bir sonucu olan gerçek bir karardır. Her tarayıcının sonucu aşağıda tek satırda.
| Kullanıcı aracısı | Motor | Ne yapar | Engellerseniz |
|---|---|---|---|
| GPTBot | ChatGPT | OpenAI modellerini eğitmek için sayfa toplar. | İçeriğinizi eğitimin dışında tutar. Sizi ChatGPT aramasından çıkarmaz. |
| OAI-SearchBot | ChatGPT | ChatGPT aramasının arkasındaki dizini kurar. | Sizi ChatGPT arama sonuçlarından çıkarır. Çoğu sitenin asıl engellememesi gereken tarayıcı budur. |
| ChatGPT-User | ChatGPT | Biri ChatGPT’den bir bağlantıyı açmasını istediğinde sayfayı anlık olarak çeker. | Bağlantınızı yapıştıran kişi geriye hiçbir şey alamaz. |
| ClaudeBot | Claude | Anthropic için sayfa toplar. | İçeriğinizi eğitim verisinin dışında tutar. |
| Claude-SearchBot | Claude | Claude’da yapılan aramalar için web’i okur. | Claude arama yaptığında sayfalarınız bulduklarının dışında kalır. |
| Claude-User | Claude | Biri Claude’a bir sayfayı sorduğunda o sayfayı çeker. | İstendiğinde Claude sayfalarınızı açamaz. |
| Google-Extended | Google AI | Sayfalarınızın Gemini’yi eğitip eğitmeyeceğini ve yapay zeka yanıtlarında görünüp görünmeyeceğini belirler. | Olağan Google Arama sıralamasını etkilemez. Ayrı bir anahtardır. |
| PerplexityBot | Perplexity | Perplexity alıntılayabilsin diye sayfaları dizine ekler. | Perplexity sizi alıntılamayı bırakır; üstelik kaynaklarını en çok gösteren motorlardan biridir. |
| Perplexity-User | Perplexity | Belirli bir soru için sayfayı anlık olarak çeker. | Sitenize anlık olarak yapılan istekler başarısız olur. |
| Applebot | Apple Intelligence (ikincil) | Apple’ın uzun süredir var olan tarayıcısı, Siri ve Spotlight’ın arkasında. | Yapay zeka özelliklerinin yanı sıra Siri ve Spotlight sonuçlarını da kaybedersiniz. |
| Applebot-Extended | Apple Intelligence (ikincil) | Yalnızca eğitimde kullanımı belirler, aramayı değil. | Sizi Apple model eğitiminin dışında tutar, Siri sonuçlarını korur. |
| CCBot | Common Crawl (ikincil) | Birçok modelin üzerinde eğitildiği açık veri kümesini oluşturur. | Tek bir şirketin çok ötesinde kullanılan bir veri kümesinden sizi çıkarır. |
İkincil olarak işaretlenen dördü, bir motorun bugün sizinle ilgili soruları yanıtlayıp yanıtlayamayacağını pek değiştirmez. Geri kalanlar değiştirir.
Bütün yapay zeka tarayıcılarına nasıl izin verilir
Onları adıyla belirten hiçbir kuralınız olmasın. GPTBot’tan söz etmeyen bir robots.txt GPTBot’a izin verir, çünkü dosya istisnayla çalışır.
Eğitim nasıl engellenir, arama nasıl korunur
Bunu düşünen yayıncıların çoğunun aslında istediği budur. Eğitim botlarını engelleyin, arama botlarına izin verin:
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: / Bu, OAI-SearchBot’u, PerplexityBot’u ve sayfayı canlı getiren botları serbest bırakır; böylece sayfalarınız bir sonraki modeli beslemeden yanıtlarda alıntılanmayı sürdürür.
En çok gördüğümüz hata
Test (staging) ortamından kalma, Disallow: / taşıyan toptan bir User-agent: * ya da tanımadığı her şeyi engelleyen bir güvenlik eklentisi. İkisi de yapay zekayla ilgili bilinçli bir karar değildi ve bulunmak isteyen sitelerin bulunamamasının sebebi bu ikisi.
Yapay zeka tarayıcıları hakkında sorular
ChatGPT web sitemi okuyabilir mi?
robots.txt dosyanız GPTBot’a ve OAI-SearchBot’a izin veriyorsa ve sayfanızın metnini göstermek için JavaScript gerekmiyorsa, evet. Bu kontrol, sizin siteniz için bunu birkaç saniyede yanıtlar.
GPTBot için robots.txt satırı nedir?
İzin vermek için en basit yol, onu adıyla belirten hiçbir kuralınızın olmamasıdır. Engellemek için: bir satırda User-agent: GPTBot, sonraki satırda Disallow: /.
GPTBot’u engellemek beni ChatGPT’den çıkarır mı?
Hayır ve en yaygın yanlış anlama bu. GPTBot eğitimle ilgilidir. ChatGPT araması ise ayrı bir bot olan OAI-SearchBot’u kullanır; onu engellemek ayrı bir karardır.
Google-Extended Google sıralamamı etkiler mi?
Hayır. Sayfalarınızın Gemini’yi ve Google’ın yapay zeka yanıtlarını besleyip beslemeyeceğini belirler. Olağan arama sıralamasını Googlebot yönetir ve ondan etkilenmez.
Her şeye izin veriyorum. İçeriğim neden yine de kullanılmıyor?
Genellikle üç şeyden biri: robots.txt devreye girmeden tarayıcıyı sınayan bir bot koruması, yalnızca JavaScript çalıştıktan sonra var olan metin ya da işletmenin ne olduğunu hiç söylemeyen bir sayfa. Tam kontrol üçünü de sınar.
Tarayıcı erişimi, beş kontrolden biri.
Tam kontrol yapıyı, yapay zeka anlayışını, hızı ve güvenliği de kapsar ve her birinin size neye mal olduğunu gösterir.