Ücretsiz araç · anında
robots.txt testi Kurallarınızın gerçekte söyledikleri
Dosyanızdaki her grubu okur, her kuralın ne yaptığını söyler, tarayıcıların yok saydığı satırları işaretler ve sizinkinde eksik olan satırları gösteririz.
Kontrol ettiklerimiz
-
Gruplar
Her User-agent grubu ve hangi kuralların ona ait olduğu.
-
Sahipsiz kurallar
İlk grubun üstünde duran ve hiçbir tarayıcının uygulamadığı kurallar.
-
Uydurma yönergeler
Gerçek olmayan ve tarayıcıların sessizce yok saydığı yönergeler.
-
Boş bir Disallow
Engellemek yerine izin veren boş bir Disallow:.
-
Noindex
2019’dan beri hiçbir işe yaramayan Noindex:.
-
Site haritası satırı
Bir Sitemap: satırının hiç olup olmadığı.
Ve sizinkinde eksik olan satırlar
- Bir şey yanlışsa
- Eklenecek satırları size veririz. * grubunuzda yapay zeka tarayıcılarını yakalayacak kurallar varsa, yazdığınız başka hiçbir şeye dokunmadan adıyla bilinen yapay zeka tarayıcılarını içeri alan User-agent satırlarını size veririz.
- Hiçbir şey yanlış değilse
- Hiçbir şey söylemeyiz. Dosyanız zaten iyiyse hiçbir şey söylemeyiz. Yanlışı olmayan bir dosya için size on iki satır öğüt veren bir araç yardım değil, dolgudur.
robots.txt hakkında sorular
robots.txt testi ne yapar?
Dosyanızı okur ve ne demek istediğinizi değil, gerçekte ne söylediğini anlatır. robots.txt sorunlarının çoğu yazım hatası değildir; geçerli olan, sessizce hiçbir şey yapmayan ya da göründüğünün tam tersini yapan kurallardır.
robots.txt dosyam neden çalışmıyor?
Üç olağan sebep. Bir kural ilk User-agent satırının üstünde durur, dolayısıyla hiçbir tarayıcı onu sahiplenmez. Bir yönerge yanlış yazılmıştır ve tarayıcı, tanımadığı her şeyi sessizce yok sayar. Ya da boş bir Disallow:, her şeye izin verir biçiminde okunur, ki bu doğrudur ve yazarın niyeti neredeyse hiç o değildir.
Arkasında hiçbir şey olmayan Disallow engeller mi, izin mi verir?
İzin verir. Boş değerli Disallow: sitenin tamamına izin verir; Disallow: / onu engeller. İkisinin arasında tek bir karakter var ve birbirinin tersidir. Bu kontrol, boş biçimi nerede geçerse işaretler.
robots.txt içinde noindex kullanabilir miyim?
Hayır. Google 2019’da desteklemeyi bıraktı ve başka hiçbir yerde güvenilir biçimde çalışmadı. robots.txt içindeki bir Noindex: satırı hiçbir işe yaramaz; işe yarayan, sayfadaki meta robots etiketidir. Sizde varsa işaretliyoruz.
Diğer kuralları koruyarak yapay zeka tarayıcılarını nasıl içeri alırım?
Onları adıyla belirtin. Belirli bir tarayıcı için açılmış bir User-agent grubu, yalnızca o tarayıcı için * grubunun yerine geçer; yani elinizdekini koruyup 6 motorun adıyla bilinen 12 yapay zeka tarayıcısını yine de içeri alabilirsiniz. Bu araç o satırları, dosyanızda eksik olandan doldurarak size verir.
Bu, yapay zeka tarayıcı kontrolüyle aynı şey mi?
Hayır ve aradaki fark iki sayfaya değer. O sayfa hangi yapay zeka motorlarının size ulaşabildiğini yanıtlar ve dosyanız hakkında hiçbir şey söylemez. Bu sayfa, dosyanın kendisinin doğru olup olmadığını yanıtlar; yalnızca yapay zeka tarayıcıları için değil, her tarayıcı için.
Dosya doğru ama yine de engelleniyor musunuz?
Tarayıcı kontrolü, kurallarınızı adıyla bilinen her yapay zeka tarayıcısı için okur ve hangilerinin içeri girebildiğini söyler.