Outil gratuit · immédiat
Testeur robots.txt Ce que disent réellement vos règles
Nous lisons chaque groupe de votre fichier, disons ce que fait chaque règle, signalons les lignes que les robots ignorent, et vous montrons celles qui manquent au vôtre.
Ce que nous vérifions
-
Les groupes
Chaque groupe User-agent, et quelles règles lui appartiennent.
-
Les règles orphelines
Les règles placées au-dessus du premier groupe, qu’aucun robot n’applique.
-
Les directives inventées
Des directives qui n’existent pas, que les robots ignorent sans broncher.
-
Un Disallow vide
Un Disallow: vide, qui autorise au lieu de bloquer.
-
Noindex
Noindex:, qui ne fait plus rien depuis 2019.
-
La ligne sitemap
S’il y a une ligne Sitemap: tout court.
Et les lignes qui manquent au vôtre
- Quand quelque chose ne va pas
- Nous vous donnons les lignes à ajouter. Si votre groupe * contient des règles qui attraperaient les robots d’IA, nous vous donnons les lignes User-agent qui laissent passer ceux qui sont nommés, sans toucher à rien d’autre de ce que vous avez écrit.
- Quand tout va bien
- Nous ne disons rien du tout. Si votre fichier est déjà correct, nous ne disons rien. Un outil qui vous sert douze lignes de conseils pour un fichier sans défaut fait du remplissage, pas de l’aide.
Questions sur robots.txt
Que fait un testeur de robots.txt ?
Il lit votre fichier et vous dit ce qu’il dit réellement, plutôt que ce que vous vouliez dire. La plupart des problèmes de robots.txt ne sont pas des fautes de frappe : ce sont des règles valides qui ne font rien en silence, ou qui font l’inverse de ce qu’elles ont l’air de faire.
Pourquoi mon robots.txt ne fonctionne-t-il pas ?
Les trois raisons habituelles. Une règle se trouve au-dessus de la première ligne User-agent, donc aucun robot ne la revendique. Une directive est mal orthographiée, et tout ce qu’un robot ne reconnaît pas, il l’ignore sans broncher. Ou un Disallow: vide est lu comme autorisant tout, ce qui est correct et n’est presque jamais ce que l’auteur voulait.
Un Disallow sans rien après bloque-t-il ou autorise-t-il ?
Il autorise. Disallow: avec une valeur vide permet tout le site ; Disallow: / le bloque. Un caractère d’écart entre les deux, et ils sont opposés. Cette vérification signale la forme vide partout où elle apparaît.
Puis-je utiliser noindex dans robots.txt ?
Non. Google a cessé de le prendre en charge en 2019 et il n’a jamais fonctionné de façon fiable ailleurs. Une ligne Noindex: dans robots.txt ne fait rien du tout ; c’est la balise meta robots sur la page qui fonctionne. Nous la signalons si vous en avez une.
Comment laisser passer les robots d’IA tout en gardant mes autres règles ?
Nommez-les. Un groupe User-agent pour un robot précis prévaut sur le groupe * pour ce robot seulement : vous pouvez donc garder ce que vous avez et laisser entrer les 12 agents d’IA nommés répartis sur 6 moteurs. Cet outil vous donne ces lignes, remplies à partir de ce qui manque à votre fichier.
Est-ce la même chose que le vérificateur de robots d’IA ?
Non, et la différence vaut les deux pages. Celui-là répond à la question de savoir quels moteurs d’IA peuvent vous atteindre et ne dit rien de votre fichier. Celui-ci répond à la question de savoir si le fichier lui-même est correct, pour tous les robots et pas seulement ceux d’IA.
Fichier correct et toujours bloqué ?
Le vérificateur de robots lit vos règles face à chaque agent d’IA nommé et vous dit lesquels entrent.