Kostenloses Tool · unter einer Minute

Kann ChatGPT Ihre Website lesen? In fünf Sekunden geprüft

Wir lesen Ihre robots.txt und prüfen sie gegen 12 namentlich genannte Crawler aus 6 KI-Engines, dann sagen wir Ihnen, welche Sie abweisen.

Kostenlos, sofort, und am Ende wird nichts von Ihnen verlangt.

Die 12 Crawler, die wir prüfen

Jeden einzelnen zuzulassen oder zu sperren ist eine echte Entscheidung mit einer echten Folge. Hier steht die Folge, einmal je Crawler.

User-Agent Engine Was er tut Wenn Sie ihn sperren
GPTBot ChatGPT Sammelt Seiten, um OpenAI-Modelle zu trainieren. Hält Ihre Inhalte aus dem Training heraus. Entfernt Sie nicht aus der ChatGPT-Suche.
OAI-SearchBot ChatGPT Baut den Index hinter der ChatGPT-Suche auf. Entfernt Sie aus den Ergebnissen der ChatGPT-Suche. Meist der, den niemand sperren wollte.
ChatGPT-User ChatGPT Ruft eine Seite live ab, wenn jemand ChatGPT bittet, einen Link zu öffnen. Wer Ihren Link einfügt, bekommt nichts zurück.
ClaudeBot Claude Sammelt Seiten für Anthropic. Hält Ihre Inhalte aus den Trainingsdaten heraus.
Claude-SearchBot Claude Liest das Web für Suchen in Claude. Ihre Seiten fehlen in dem, was Claude bei einer Suche findet.
Claude-User Claude Ruft eine Seite ab, wenn jemand Claude danach fragt. Claude kann Ihre Seiten nicht öffnen, wenn jemand darum bittet.
Google-Extended Google AI Steuert, ob Ihre Seiten Gemini trainieren und in KI-Antworten erscheinen. Ohne Einfluss auf das normale Ranking in der Google-Suche. Das ist ein eigener Schalter.
PerplexityBot Perplexity Indexiert Seiten, damit Perplexity sie zitieren kann. Perplexity zitiert Sie nicht mehr, und es zitiert viel.
Perplexity-User Perplexity Ruft eine Seite live für eine bestimmte Frage ab. Live-Abrufe Ihrer Website schlagen fehl.
Applebot Apple Intelligence (gering) Apples langjähriger Crawler, hinter Siri und Spotlight. Sie verlieren Siri und Spotlight, nicht nur die KI-Funktionen.
Applebot-Extended Apple Intelligence (gering) Steuert nur die Nutzung fürs Training, nicht die Suche. Hält Sie aus Apples Modelltraining heraus und erhält die Siri-Ergebnisse.
CCBot Common Crawl (gering) Baut den offenen Datensatz auf, mit dem viele Modelle trainiert werden. Entfernt Sie aus einem Datensatz, der weit über ein einzelnes Unternehmen hinaus genutzt wird.

Die als gering markierten Crawler ändern wenig daran, ob eine Engine heute Fragen über Sie beantworten kann. Die übrigen schon.

So lassen Sie jeden KI-Crawler zu

Haben Sie keine Regel, die sie nennt. Eine robots.txt, die GPTBot nicht erwähnt, lässt GPTBot zu, denn die Datei arbeitet über Ausnahmen.

So sperren Sie das Training und behalten die Suche

Das wollen die meisten Publisher, die darüber nachdenken, eigentlich. Sperren Sie die Trainings-Agenten und lassen Sie die der Suche zu:

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

Damit bleiben OAI-SearchBot, PerplexityBot und die Live-Abrufer frei, Sie zu finden. Sie können weiter in Antworten zitiert werden, ohne dass Ihre Seiten das nächste Modell füttern.

Der Fehler, den wir am häufigsten sehen

Ein pauschales User-agent: * mit Disallow: /, übrig geblieben von einer Testumgebung, oder ein Sicherheits-Plug-in, das alles abweist, was es nicht kennt. Keines davon war eine Entscheidung über KI, und beide sind der Grund, warum Websites, die gefunden werden wollen, es nicht werden.

Fragen zu KI-Crawlern

Kann ChatGPT meine Website lesen?

Wenn Ihre robots.txt GPTBot und OAI-SearchBot zulässt und Ihre Seite kein JavaScript braucht, um ihren Text zu zeigen, dann ja. Diese Prüfung beantwortet das für Ihre Website in wenigen Sekunden.

Wie lautet die robots.txt-Zeile für GPTBot?

Um ihn zuzulassen, ist die einfachste Antwort: gar keine Regel, die ihn nennt. Um ihn zu sperren: User-agent: GPTBot in einer Zeile und Disallow: / in der nächsten.

Werde ich aus ChatGPT entfernt, wenn ich GPTBot sperre?

Nein, und das ist das häufigste Missverständnis. Bei GPTBot geht es um das Training. Die ChatGPT-Suche nutzt OAI-SearchBot, und das ist ein eigener Name und eine eigene Entscheidung.

Wirkt sich Google-Extended auf mein Google-Ranking aus?

Nein. Er steuert, ob Ihre Seiten Gemini und Googles KI-Antworten speisen. Das normale Ranking in der Suche richtet sich nach Googlebot und bleibt davon unberührt.

Ich erlaube alles. Warum wird mein Inhalt trotzdem nicht genutzt?

Meist aus einem von drei Gründen: ein Bot-Schutz, der den Crawler abfängt, bevor die robots.txt überhaupt zählt, Text, der erst nach dem Ausführen von JavaScript existiert, oder eine Seite, die nie sagt, was das Unternehmen ist. Die vollständige Prüfung testet alle drei.

Crawler-Zugang ist eine Prüfung von fünf.

Die vollständige Prüfung deckt auch Struktur, Verständnis, Geschwindigkeit und Sicherheit ab und zeigt, was jede davon Sie kostet.

Kostenlose Prüfung starten