Ferramenta gratuita · instantânea

Testador de robots.txt O que as suas regras dizem de verdade

Lemos cada grupo do seu arquivo, dizemos o que cada regra faz, apontamos as linhas que os rastreadores ignoram, e mostramos as linhas que faltam no seu.

Gratuito, instantâneo, e no fim não pedimos nada a você.

O que verificamos

  1. Os grupos

    Cada grupo User-agent, e quais regras pertencem a ele.

  2. Regras órfãs

    Regras paradas acima do primeiro grupo, que nenhum rastreador aplica.

  3. Diretivas inventadas

    Diretivas que não existem, e que os rastreadores ignoram sem reclamar.

  4. Um Disallow vazio

    Um Disallow: vazio, que libera em vez de bloquear.

  5. Noindex

    Noindex:, que não faz nada desde 2019.

  6. A linha do sitemap

    Se existe uma linha Sitemap:.

E as linhas que faltam no seu

Quando há algo errado
Entregamos a você as linhas a acrescentar. Se o seu grupo * tem regras que pegariam os rastreadores de IA, damos a você as linhas User-agent que deixam os nomeados passarem sem tocar em mais nada do que você escreveu.
Quando não há nada errado
Não dizemos nada. Se o seu arquivo já está bom, não dizemos nada. Uma ferramenta que entrega doze linhas de conselho para um arquivo sem nada de errado é enchimento, não ajuda.

Perguntas sobre robots.txt

O que faz um testador de robots.txt?

Lê o seu arquivo e diz o que ele de fato diz, e não o que você quis dizer. A maioria dos problemas de robots.txt não é erro de digitação; são regras válidas que, sem ninguém perceber, não fazem nada ou fazem o contrário do que parecem.

Por que o meu robots.txt não está funcionando?

Pelos três motivos de sempre. Uma regra está acima da primeira linha User-agent, então nenhum rastreador a aplica. Uma diretiva está escrita errado, e tudo o que um rastreador não reconhece ele ignora sem reclamar. Ou um Disallow: vazio é lido como liberando tudo, o que está correto e quase nunca é o que o autor quis.

Disallow sem nada depois bloqueia ou libera?

Libera. Disallow: com valor vazio permite o site inteiro; Disallow: / bloqueia. Um caractere entre os dois, e eles são opostos. Esta verificação aponta a forma vazia onde quer que ela apareça.

Posso usar noindex no robots.txt?

Não. O Google parou de dar suporte a isso em 2019 e nunca funcionou de forma confiável em outro lugar. Uma linha Noindex: no robots.txt não faz nada; o que funciona é a meta tag robots na página. Nós apontamos se você tiver uma.

Como eu deixo os rastreadores de IA passarem e mantenho as outras regras?

Cite-os pelo nome. Um grupo User-agent para um rastreador específico prevalece sobre o grupo * só para aquele rastreador, então dá para manter o que você tem e ainda deixar entrar os 12 agentes de IA nomeados de 6 motores. Esta ferramenta dá a você essas linhas, preenchidas a partir do que falta no seu arquivo.

Isto é a mesma coisa que o verificador de rastreadores de IA?

Não, e a diferença justifica as duas páginas. Aquele responde quais motores de IA chegam até você e não diz nada sobre o seu arquivo. Este responde se o arquivo em si está correto, para todo rastreador e não só os de IA.

Arquivo correto e ainda bloqueado?

O verificador de rastreadores confere as suas regras com cada agente de IA nomeado e diz quais entram.

Verificar o acesso de rastreadores