Herramienta gratuita · inmediata
Probador de robots.txt Lo que dicen de verdad tus reglas
Leemos cada grupo de tu archivo, decimos qué hace cada regla, señalamos las líneas que los rastreadores ignoran y te enseñamos las que te faltan.
Qué comprobamos
-
Los grupos
Cada grupo User-agent, y qué reglas le pertenecen.
-
Reglas huérfanas
Reglas situadas por encima del primer grupo, que ningún rastreador aplica.
-
Directivas inventadas
Directivas que no existen, que los rastreadores ignoran sin rechistar.
-
Un Disallow vacío
Un Disallow: vacío, que permite en vez de bloquear.
-
Noindex
Noindex:, que no hace nada desde 2019.
-
La línea del sitemap
Si hay siquiera una línea Sitemap:.
Y las líneas que te faltan
- Cuando algo está mal
- Te damos las líneas que añadir. Si tu grupo * tiene reglas que atraparían a los rastreadores de IA, te damos las líneas User-agent que dejan pasar a los que tienen nombre sin tocar nada más de lo que has escrito.
- Cuando no hay nada mal
- No decimos nada. Si tu archivo ya está bien, no decimos nada. Una herramienta que te suelta doce líneas de consejos para un archivo que no tiene nada mal es relleno, no ayuda.
Preguntas sobre robots.txt
¿Qué hace un probador de robots.txt?
Lee tu archivo y te dice lo que dice de verdad, no lo que querías decir. Casi ningún problema de robots.txt es una errata; son reglas válidas que no hacen nada en silencio, o que hacen justo lo contrario de lo que parecen.
¿Por qué no funciona mi robots.txt?
Los tres motivos de siempre. Una regla está por encima de la primera línea User-agent, así que ningún rastreador la reclama. Una directiva está mal escrita, y todo lo que un rastreador no reconoce lo ignora sin rechistar. O un Disallow: vacío se lee como que todo está permitido, que es correcto y casi nunca es lo que pretendía quien lo escribió.
Un Disallow sin nada detrás, ¿bloquea o permite?
Permite. Disallow: con el valor vacío permite el sitio entero; Disallow: / lo bloquea. Un solo carácter entre los dos, y son opuestos. Esta comprobación señala la forma vacía esté donde esté.
¿Puedo usar noindex en el robots.txt?
No. Google dejó de admitirlo en 2019 y nunca funcionó de forma fiable en ningún otro sitio. Una línea Noindex: en el robots.txt no hace absolutamente nada; lo que funciona es la etiqueta meta robots en la página. Si la tienes, la señalamos.
¿Cómo dejo pasar a los rastreadores de IA y conservo las demás reglas?
Nómbralos. Un grupo User-agent para un rastreador concreto sustituye al grupo * solo para ese rastreador, así que puedes conservar lo que tienes y dejar entrar igualmente a los 12 agentes de IA con nombre de 6 motores. Esta herramienta te da esas líneas, rellenadas a partir de lo que le falta a tu archivo.
¿Es lo mismo que el comprobador de rastreadores de IA?
No, y la diferencia justifica las dos páginas. Aquella responde a qué motores de IA pueden llegar a ti y no dice nada de tu archivo. Esta responde a si el archivo en sí es correcto, para todos los rastreadores y no solo para los de IA.
¿Archivo correcto y aun así bloqueado?
El comprobador de rastreadores lee tus reglas frente a cada agente de IA con nombre y te dice cuáles entran.