Aktualisiert am 29. Oktober 2026

GPTBot, ClaudeBot und die übrigen: jeder KI-Crawler erklärt

12 User-Agent-Namen aus 6 Engines, wofür jeder da ist, und was Sie wirklich verlieren, wenn Sie ihn abweisen. Das ist dieselbe Liste, die unsere Scan-Engine benutzt.

Website kostenlos prüfen

Die Liste

User-AgentEngineWas er tutWenn Sie ihn sperren
GPTBot ChatGPT Sammelt Seiten, um OpenAI-Modelle zu trainieren. Hält Ihre Inhalte aus dem Training heraus. Entfernt Sie nicht aus der ChatGPT-Suche.
OAI-SearchBot ChatGPT Baut den Index hinter der ChatGPT-Suche auf. Entfernt Sie aus den Ergebnissen der ChatGPT-Suche. Meist der, den niemand sperren wollte.
ChatGPT-User ChatGPT Ruft eine Seite live ab, wenn jemand ChatGPT bittet, einen Link zu öffnen. Wer Ihren Link einfügt, bekommt nichts zurück.
ClaudeBot Claude Sammelt Seiten für Anthropic. Hält Ihre Inhalte aus den Trainingsdaten heraus.
Claude-SearchBot Claude Liest das Web für Suchen in Claude. Ihre Seiten fehlen in dem, was Claude bei einer Suche findet.
Claude-User Claude Ruft eine Seite ab, wenn jemand Claude danach fragt. Claude kann Ihre Seiten nicht öffnen, wenn jemand darum bittet.
Google-Extended Google AI Steuert, ob Ihre Seiten Gemini trainieren und in KI-Antworten erscheinen. Ohne Einfluss auf das normale Ranking in der Google-Suche. Das ist ein eigener Schalter.
PerplexityBot Perplexity Indexiert Seiten, damit Perplexity sie zitieren kann. Perplexity zitiert Sie nicht mehr, und es zitiert viel.
Perplexity-User Perplexity Ruft eine Seite live für eine bestimmte Frage ab. Live-Abrufe Ihrer Website schlagen fehl.
Applebot Apple Intelligence Apples langjähriger Crawler, hinter Siri und Spotlight. Sie verlieren Siri und Spotlight, nicht nur die KI-Funktionen.
Applebot-Extended Apple Intelligence Steuert nur die Nutzung fürs Training, nicht die Suche. Hält Sie aus Apples Modelltraining heraus und erhält die Siri-Ergebnisse.
CCBot Common Crawl Baut den offenen Datensatz auf, mit dem viele Modelle trainiert werden. Entfernt Sie aus einem Datensatz, der weit über ein einzelnes Unternehmen hinaus genutzt wird.

Nach Engine, und was jede Entscheidung kostet

ChatGPT

  • GPTBot. Sammelt Seiten, um OpenAI-Modelle zu trainieren. Hält Ihre Inhalte aus dem Training heraus. Entfernt Sie nicht aus der ChatGPT-Suche.
  • OAI-SearchBot. Baut den Index hinter der ChatGPT-Suche auf. Entfernt Sie aus den Ergebnissen der ChatGPT-Suche. Meist der, den niemand sperren wollte.
  • ChatGPT-User. Ruft eine Seite live ab, wenn jemand ChatGPT bittet, einen Link zu öffnen. Wer Ihren Link einfügt, bekommt nichts zurück.

Claude

  • ClaudeBot. Sammelt Seiten für Anthropic. Hält Ihre Inhalte aus den Trainingsdaten heraus.
  • Claude-SearchBot. Liest das Web für Suchen in Claude. Ihre Seiten fehlen in dem, was Claude bei einer Suche findet.
  • Claude-User. Ruft eine Seite ab, wenn jemand Claude danach fragt. Claude kann Ihre Seiten nicht öffnen, wenn jemand darum bittet.

Google AI

  • Google-Extended. Steuert, ob Ihre Seiten Gemini trainieren und in KI-Antworten erscheinen. Ohne Einfluss auf das normale Ranking in der Google-Suche. Das ist ein eigener Schalter.

Perplexity

  • PerplexityBot. Indexiert Seiten, damit Perplexity sie zitieren kann. Perplexity zitiert Sie nicht mehr, und es zitiert viel.
  • Perplexity-User. Ruft eine Seite live für eine bestimmte Frage ab. Live-Abrufe Ihrer Website schlagen fehl.

Apple Intelligence

  • Applebot. Apples langjähriger Crawler, hinter Siri und Spotlight. Sie verlieren Siri und Spotlight, nicht nur die KI-Funktionen.
  • Applebot-Extended. Steuert nur die Nutzung fürs Training, nicht die Suche. Hält Sie aus Apples Modelltraining heraus und erhält die Siri-Ergebnisse.

Common Crawl

  • CCBot. Baut den offenen Datensatz auf, mit dem viele Modelle trainiert werden. Entfernt Sie aus einem Datensatz, der weit über ein einzelnes Unternehmen hinaus genutzt wird.

Die Unterscheidung, die fast alle falsch machen

OpenAI
GPTBot trainiert. OAI-SearchBot sucht. Trainings-Agenten und Such-Agenten sind nicht dasselbe. GPTBot speist das Training der Modelle. OAI-SearchBot speist die ChatGPT-Suche. Den ersten zu sperren hält Ihre Texte aus dem nächsten Modell heraus und lässt Sie auffindbar; den zweiten zu sperren macht Sie in dem Produkt unsichtbar, das die Leute tatsächlich benutzen.
Google
Google-Extended ist nicht Googlebot. Google teilt sich genauso. Google-Extended steuert Gemini und die KI-Antworten. Auf die gewöhnliche Suche, um die sich Googlebot kümmert, hat er keinen Einfluss. Das sind getrennte Schalter, und Sie dürfen sie verschieden stellen.

Das Training sperren und auffindbar bleiben

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

Alles, was nicht genannt ist, bleibt zugelassen, OAI-SearchBot, PerplexityBot und die Live-Abrufer können Sie also weiterhin finden.

Warum Ihre Regeln vielleicht gar nicht das Problem sind

Drei Dinge sperren Crawler, mit denen die robots.txt nichts zu tun hat:

  • Ein Bot-Schutz, der alles auf die Probe stellt, was er nicht erkennt, bevor die Datei überhaupt gelesen wird.
  • Eine Ratenbegrenzung, die einen Crawler wie einen Angriff behandelt.
  • Inhalte, die JavaScript brauchen, das mehrere dieser Agenten nicht ausführen. Die Seite lädt, und sie ist leer.

Der Crawler-Checker prüft das Erste. Die vollständige Prüfung prüft alle.

Fragen zu KI-Crawlern

Was ist GPTBot?

Der Crawler von OpenAI, der Webseiten sammelt, um die Modelle zu trainieren. Er befolgt die robots.txt. Er ist nicht der Agent hinter der ChatGPT-Suche, das ist OAI-SearchBot, und die beiden zu verwechseln ist der häufigste Fehler zu diesem Thema.

Wie lautet die robots.txt-Regel für GPTBot?

Zum Sperren: User-agent: GPTBot, dann Disallow: /. Zum Zulassen schreiben Sie gar keine Regel für ihn, denn die Datei arbeitet über Ausnahmen.

Schadet es meinem SEO, GPTBot zu sperren?

Nein. Googlebot ist ein eigener Agent, und das gewöhnliche Ranking in der Suche bleibt unberührt. Was Sie verlieren, ist die Nutzung Ihrer Inhalte im Training der Modelle.

Welchen Crawler sollte ich nie sperren?

Wenn Sie in KI-Antworten gefunden werden wollen: OAI-SearchBot und PerplexityBot. Sie bauen die Indizes, aus denen die Antworten heute stammen.

Wie oft ändert sich diese Liste?

Engines fügen ein paar Mal im Jahr Agenten hinzu und benennen welche um. Diese Liste ist die, die unsere Scan-Engine benutzt, sie wird also aktualisiert, wenn die Engine es wird. Zuletzt geprüft am 29. Oktober 2026.

Prüfen Sie Ihre eigene robots.txt.

Ihre Regeln gelesen gegen alle 12 Namen, mit einer klaren Antwort zu jedem.

Meinen Crawler-Zugang prüfen