Kostenloses Tool · sofort
robots.txt-Test Was Ihre Regeln wirklich sagen
Wir lesen jede Gruppe in Ihrer Datei, sagen, was jede Regel bewirkt, markieren die Zeilen, die Crawler ignorieren, und zeigen Ihnen die Zeilen, die fehlen.
Was wir prüfen
-
Die Gruppen
Jede User-agent-Gruppe, und welche Regeln zu ihr gehören.
-
Verwaiste Regeln
Regeln über der ersten Gruppe, die kein Crawler anwendet.
-
Erfundene Direktiven
Direktiven, die es nicht gibt und die Crawler klaglos übergehen.
-
Ein leeres Disallow
Ein leeres Disallow:, das erlaubt statt zu sperren.
-
Noindex
Noindex:, das seit 2019 nichts mehr bewirkt.
-
Die Sitemap-Zeile
Ob überhaupt eine Sitemap:-Zeile da ist.
Und die Zeilen, die Ihrer Datei fehlen
- Wenn etwas nicht stimmt
- Wir geben Ihnen die Zeilen zum Ergänzen. Wenn Ihre *-Gruppe Regeln enthält, die KI-Crawler mit erfassen würden, geben wir Ihnen die User-agent-Zeilen, die die namentlich genannten durchlassen, ohne sonst etwas anzurühren, was Sie geschrieben haben.
- Wenn alles stimmt
- Sagen wir gar nichts. Ist Ihre Datei schon in Ordnung, sagen wir nichts. Ein Werkzeug, das Ihnen zwölf Zeilen Rat für eine fehlerfreie Datei gibt, ist Füllmaterial und keine Hilfe.
Fragen zur robots.txt
Was macht ein robots.txt-Test?
Er liest Ihre Datei und sagt Ihnen, was sie tatsächlich aussagt, und nicht, was Sie gemeint haben. Die meisten robots.txt-Probleme sind keine Tippfehler, sondern Regeln, die gültig sind, still nichts tun oder das Gegenteil dessen bewirken, wonach sie aussehen.
Warum funktioniert meine robots.txt nicht?
Die drei üblichen Gründe. Eine Regel steht über der ersten User-agent-Zeile, also beansprucht sie kein Crawler. Eine Direktive ist falsch geschrieben, und was ein Crawler nicht kennt, übergeht er klaglos. Oder ein leeres Disallow: wird als Erlaubnis für alles gelesen, was korrekt ist und fast nie das, was gemeint war.
Sperrt oder erlaubt ein Disallow ohne Wert?
Es erlaubt. Disallow: mit leerem Wert gibt die ganze Website frei; Disallow: / sperrt sie. Ein Zeichen Unterschied, und sie sind Gegenteile. Diese Prüfung markiert die leere Form überall, wo sie auftaucht.
Kann ich noindex in der robots.txt verwenden?
Nein. Google hat die Unterstützung 2019 eingestellt, und anderswo hat es nie zuverlässig funktioniert. Eine Noindex:-Zeile in der robots.txt bewirkt überhaupt nichts; was wirkt, ist das meta-robots-Tag auf der Seite. Wir markieren es, wenn Sie eines haben.
Wie lasse ich KI-Crawler durch und behalte meine anderen Regeln?
Nennen Sie sie beim Namen. Eine User-agent-Gruppe für einen bestimmten Crawler hat für diesen Crawler Vorrang vor der *-Gruppe, Sie können also alles behalten und trotzdem die 12 namentlich genannten KI-Agenten aus 6 Engines hereinlassen. Dieses Werkzeug gibt Ihnen diese Zeilen, ausgefüllt aus dem, was Ihrer Datei fehlt.
Ist das dasselbe wie der KI-Crawler-Checker?
Nein, und der Unterschied rechtfertigt die zwei Seiten. Jener beantwortet, welche KI-Engines Sie erreichen können, und sagt nichts über Ihre Datei. Dieser beantwortet, ob die Datei selbst korrekt ist, für jeden Crawler und nicht nur die von KI.
Datei korrekt und trotzdem gesperrt?
Der Crawler-Checker liest Ihre Regeln gegen jeden namentlich genannten KI-Agenten und sagt Ihnen, welche hereinkommen.