Ferramenta gratuita · instantânea
Testador de robots.txt O que as suas regras dizem de verdade
Lemos cada grupo do seu arquivo, dizemos o que cada regra faz, apontamos as linhas que os rastreadores ignoram, e mostramos as linhas que faltam no seu.
O que verificamos
-
Os grupos
Cada grupo User-agent, e quais regras pertencem a ele.
-
Regras órfãs
Regras paradas acima do primeiro grupo, que nenhum rastreador aplica.
-
Diretivas inventadas
Diretivas que não existem, e que os rastreadores ignoram sem reclamar.
-
Um Disallow vazio
Um Disallow: vazio, que libera em vez de bloquear.
-
Noindex
Noindex:, que não faz nada desde 2019.
-
A linha do sitemap
Se existe uma linha Sitemap:.
E as linhas que faltam no seu
- Quando há algo errado
- Entregamos a você as linhas a acrescentar. Se o seu grupo * tem regras que pegariam os rastreadores de IA, damos a você as linhas User-agent que deixam os nomeados passarem sem tocar em mais nada do que você escreveu.
- Quando não há nada errado
- Não dizemos nada. Se o seu arquivo já está bom, não dizemos nada. Uma ferramenta que entrega doze linhas de conselho para um arquivo sem nada de errado é enchimento, não ajuda.
Perguntas sobre robots.txt
O que faz um testador de robots.txt?
Lê o seu arquivo e diz o que ele de fato diz, e não o que você quis dizer. A maioria dos problemas de robots.txt não é erro de digitação; são regras válidas que, sem ninguém perceber, não fazem nada ou fazem o contrário do que parecem.
Por que o meu robots.txt não está funcionando?
Pelos três motivos de sempre. Uma regra está acima da primeira linha User-agent, então nenhum rastreador a aplica. Uma diretiva está escrita errado, e tudo o que um rastreador não reconhece ele ignora sem reclamar. Ou um Disallow: vazio é lido como liberando tudo, o que está correto e quase nunca é o que o autor quis.
Disallow sem nada depois bloqueia ou libera?
Libera. Disallow: com valor vazio permite o site inteiro; Disallow: / bloqueia. Um caractere entre os dois, e eles são opostos. Esta verificação aponta a forma vazia onde quer que ela apareça.
Posso usar noindex no robots.txt?
Não. O Google parou de dar suporte a isso em 2019 e nunca funcionou de forma confiável em outro lugar. Uma linha Noindex: no robots.txt não faz nada; o que funciona é a meta tag robots na página. Nós apontamos se você tiver uma.
Como eu deixo os rastreadores de IA passarem e mantenho as outras regras?
Cite-os pelo nome. Um grupo User-agent para um rastreador específico prevalece sobre o grupo * só para aquele rastreador, então dá para manter o que você tem e ainda deixar entrar os 12 agentes de IA nomeados de 6 motores. Esta ferramenta dá a você essas linhas, preenchidas a partir do que falta no seu arquivo.
Isto é a mesma coisa que o verificador de rastreadores de IA?
Não, e a diferença justifica as duas páginas. Aquele responde quais motores de IA chegam até você e não diz nada sobre o seu arquivo. Este responde se o arquivo em si está correto, para todo rastreador e não só os de IA.
Arquivo correto e ainda bloqueado?
O verificador de rastreadores confere as suas regras com cada agente de IA nomeado e diz quais entram.