Herramienta gratuita · menos de un minuto

¿Puede ChatGPT leer tu web? Compruébalo en cinco segundos

Leemos tu robots.txt y lo probamos frente a 12 rastreadores con nombre de 6 motores de IA, y después te decimos a cuáles estás rechazando.

Gratis, inmediato y sin pedirte nada al final.

Los 12 rastreadores que comprobamos

Permitir o bloquear cada uno es una decisión real con una consecuencia real. Esta es la consecuencia, dicha una vez por rastreador.

User agent Motor Qué hace Si lo bloqueas
GPTBot ChatGPT Recoge páginas para entrenar los modelos de OpenAI. Mantiene tu contenido fuera del entrenamiento. No te saca de la búsqueda de ChatGPT.
OAI-SearchBot ChatGPT Construye el índice que hay detrás de la búsqueda de ChatGPT. Te saca de los resultados de búsqueda de ChatGPT. Suele ser el que nadie quería bloquear.
ChatGPT-User ChatGPT Descarga la página en directo cuando alguien pide a ChatGPT que abra un enlace. Quien pegue tu enlace no recibirá nada de vuelta.
ClaudeBot Claude Recoge páginas para Anthropic. Mantiene tu contenido fuera de los datos de entrenamiento.
Claude-SearchBot Claude Lee la web para las búsquedas que se hacen en Claude. Tus páginas quedan fuera de lo que Claude encuentra cuando busca.
Claude-User Claude Descarga una página cuando alguien le pregunta a Claude por ella. Claude no podrá abrir tus páginas cuando se lo pidan.
Google-Extended Google AI Decide si tus páginas entrenan a Gemini y si aparecen en las respuestas con IA. No afecta al posicionamiento normal en Google. Es un interruptor aparte.
PerplexityBot Perplexity Indexa páginas para que Perplexity pueda citarlas. Perplexity deja de citarte, y es un motor que cita mucho.
Perplexity-User Perplexity Descarga la página en directo para una pregunta concreta. Las consultas en vivo sobre tu sitio fallan.
Applebot Apple Intelligence (menor) El rastreador de toda la vida de Apple, detrás de Siri y de Spotlight. Pierdes los resultados de Siri y Spotlight además de las funciones de IA.
Applebot-Extended Apple Intelligence (menor) Decide solo el uso en entrenamiento, no la búsqueda. Te deja fuera del entrenamiento de los modelos de Apple y conserva los resultados de Siri.
CCBot Common Crawl (menor) Construye el conjunto de datos abierto con el que se entrenan muchos modelos. Te saca de un conjunto de datos que se usa mucho más allá de una sola empresa.

Los cuatro marcados como menores cambian poco sobre si hoy un motor puede responder preguntas sobre ti. Los demás sí.

Cómo permitir todos los rastreadores de IA

No tengas ninguna regla que los nombre. Un robots.txt que no menciona GPTBot permite GPTBot, porque el archivo funciona por excepción.

Cómo bloquear el entrenamiento y conservar la búsqueda

Esto es lo que de verdad quiere la mayoría de quienes se lo plantean. Bloquea los agentes de entrenamiento y permite los de búsqueda:

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

Eso deja libres a OAI-SearchBot, a PerplexityBot y a los que descargan en directo para encontrarte, así que te pueden seguir citando en respuestas sin que tus páginas alimenten el siguiente modelo.

El error que más vemos

Un User-agent: * general con Disallow: / heredado de un entorno de pruebas, o un plugin de seguridad que bloquea todo lo que no reconoce. Ninguno fue una decisión que nadie tomara sobre la IA, y los dos son el motivo de que no se encuentre a sitios que quieren ser encontrados.

Preguntas sobre los rastreadores de IA

¿Puede ChatGPT leer mi web?

Si tu robots.txt permite GPTBot y OAI-SearchBot, y tu página no necesita JavaScript para mostrar su texto, sí. Esta comprobación lo responde para tu sitio en unos segundos.

¿Cuál es la línea de robots.txt para GPTBot?

Para permitirlo, lo más sencillo es no tener ninguna regla que lo nombre. Para bloquearlo: User-agent: GPTBot en una línea y Disallow: / en la siguiente.

¿Bloquear GPTBot me saca de ChatGPT?

No, y este es el malentendido más común. GPTBot va de entrenamiento. La búsqueda de ChatGPT usa OAI-SearchBot, que es otro nombre y otra decisión.

¿Google-Extended afecta a mi posicionamiento en Google?

No. Controla si tus páginas alimentan a Gemini y a las respuestas con IA de Google. El posicionamiento normal en la búsqueda lo gobierna Googlebot y no se ve afectado.

Lo permito todo. ¿Por qué mi contenido sigue sin usarse?

Suele ser una de tres cosas: una protección antibots que desafía al rastreador antes de que el robots.txt importe, un texto que solo existe cuando se ejecuta JavaScript, o una página que nunca dice qué es la empresa. El análisis completo prueba las tres.

El acceso de rastreadores es una comprobación de cinco.

El análisis completo cubre además la estructura, la comprensión, la velocidad y la seguridad, y enseña cuánto te cuesta cada una.

Lanzar el análisis gratuito