Ücretsiz araç · bir dakikadan kısa

ChatGPT web sitenizi okuyabiliyor mu? Beş saniyede kontrol edin

robots.txt dosyanızı okur, 6 yapay zeka motorunun adıyla bilinen 12 tarayıcısı için tek tek sınar ve hangilerini geri çevirdiğinizi söyleriz.

Ücretsiz, anında ve sonunda sizden hiçbir şey istenmez.

Kontrol ettiğimiz 12 tarayıcı

Her birine izin vermek ya da engellemek, gerçek bir sonucu olan gerçek bir karardır. Her tarayıcının sonucu aşağıda tek satırda.

Kullanıcı aracısı Motor Ne yapar Engellerseniz
GPTBot ChatGPT OpenAI modellerini eğitmek için sayfa toplar. İçeriğinizi eğitimin dışında tutar. Sizi ChatGPT aramasından çıkarmaz.
OAI-SearchBot ChatGPT ChatGPT aramasının arkasındaki dizini kurar. Sizi ChatGPT arama sonuçlarından çıkarır. Çoğu sitenin asıl engellememesi gereken tarayıcı budur.
ChatGPT-User ChatGPT Biri ChatGPT’den bir bağlantıyı açmasını istediğinde sayfayı anlık olarak çeker. Bağlantınızı yapıştıran kişi geriye hiçbir şey alamaz.
ClaudeBot Claude Anthropic için sayfa toplar. İçeriğinizi eğitim verisinin dışında tutar.
Claude-SearchBot Claude Claude’da yapılan aramalar için web’i okur. Claude arama yaptığında sayfalarınız bulduklarının dışında kalır.
Claude-User Claude Biri Claude’a bir sayfayı sorduğunda o sayfayı çeker. İstendiğinde Claude sayfalarınızı açamaz.
Google-Extended Google AI Sayfalarınızın Gemini’yi eğitip eğitmeyeceğini ve yapay zeka yanıtlarında görünüp görünmeyeceğini belirler. Olağan Google Arama sıralamasını etkilemez. Ayrı bir anahtardır.
PerplexityBot Perplexity Perplexity alıntılayabilsin diye sayfaları dizine ekler. Perplexity sizi alıntılamayı bırakır; üstelik kaynaklarını en çok gösteren motorlardan biridir.
Perplexity-User Perplexity Belirli bir soru için sayfayı anlık olarak çeker. Sitenize anlık olarak yapılan istekler başarısız olur.
Applebot Apple Intelligence (ikincil) Apple’ın uzun süredir var olan tarayıcısı, Siri ve Spotlight’ın arkasında. Yapay zeka özelliklerinin yanı sıra Siri ve Spotlight sonuçlarını da kaybedersiniz.
Applebot-Extended Apple Intelligence (ikincil) Yalnızca eğitimde kullanımı belirler, aramayı değil. Sizi Apple model eğitiminin dışında tutar, Siri sonuçlarını korur.
CCBot Common Crawl (ikincil) Birçok modelin üzerinde eğitildiği açık veri kümesini oluşturur. Tek bir şirketin çok ötesinde kullanılan bir veri kümesinden sizi çıkarır.

İkincil olarak işaretlenen dördü, bir motorun bugün sizinle ilgili soruları yanıtlayıp yanıtlayamayacağını pek değiştirmez. Geri kalanlar değiştirir.

Bütün yapay zeka tarayıcılarına nasıl izin verilir

Onları adıyla belirten hiçbir kuralınız olmasın. GPTBot’tan söz etmeyen bir robots.txt GPTBot’a izin verir, çünkü dosya istisnayla çalışır.

Eğitim nasıl engellenir, arama nasıl korunur

Bunu düşünen yayıncıların çoğunun aslında istediği budur. Eğitim botlarını engelleyin, arama botlarına izin verin:

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

Bu, OAI-SearchBot’u, PerplexityBot’u ve sayfayı canlı getiren botları serbest bırakır; böylece sayfalarınız bir sonraki modeli beslemeden yanıtlarda alıntılanmayı sürdürür.

En çok gördüğümüz hata

Test (staging) ortamından kalma, Disallow: / taşıyan toptan bir User-agent: * ya da tanımadığı her şeyi engelleyen bir güvenlik eklentisi. İkisi de yapay zekayla ilgili bilinçli bir karar değildi ve bulunmak isteyen sitelerin bulunamamasının sebebi bu ikisi.

Yapay zeka tarayıcıları hakkında sorular

ChatGPT web sitemi okuyabilir mi?

robots.txt dosyanız GPTBot’a ve OAI-SearchBot’a izin veriyorsa ve sayfanızın metnini göstermek için JavaScript gerekmiyorsa, evet. Bu kontrol, sizin siteniz için bunu birkaç saniyede yanıtlar.

GPTBot için robots.txt satırı nedir?

İzin vermek için en basit yol, onu adıyla belirten hiçbir kuralınızın olmamasıdır. Engellemek için: bir satırda User-agent: GPTBot, sonraki satırda Disallow: /.

GPTBot’u engellemek beni ChatGPT’den çıkarır mı?

Hayır ve en yaygın yanlış anlama bu. GPTBot eğitimle ilgilidir. ChatGPT araması ise ayrı bir bot olan OAI-SearchBot’u kullanır; onu engellemek ayrı bir karardır.

Google-Extended Google sıralamamı etkiler mi?

Hayır. Sayfalarınızın Gemini’yi ve Google’ın yapay zeka yanıtlarını besleyip beslemeyeceğini belirler. Olağan arama sıralamasını Googlebot yönetir ve ondan etkilenmez.

Her şeye izin veriyorum. İçeriğim neden yine de kullanılmıyor?

Genellikle üç şeyden biri: robots.txt devreye girmeden tarayıcıyı sınayan bir bot koruması, yalnızca JavaScript çalıştıktan sonra var olan metin ya da işletmenin ne olduğunu hiç söylemeyen bir sayfa. Tam kontrol üçünü de sınar.

Tarayıcı erişimi, beş kontrolden biri.

Tam kontrol yapıyı, yapay zeka anlayışını, hızı ve güvenliği de kapsar ve her birinin size neye mal olduğunu gösterir.

Ücretsiz kontrolü başlat