Ferramenta gratuita · menos de um minuto

O ChatGPT consegue ler o seu site? Verifique em cinco segundos

Lemos o seu robots.txt e o conferimos com 12 rastreadores nomeados de 6 motores de IA, e depois dizemos quais você está mandando embora.

Gratuito, instantâneo, e no fim não pedimos nada a você.

Os 12 rastreadores que verificamos

Liberar ou bloquear cada um é uma decisão de verdade com uma consequência de verdade. A consequência é esta, dita uma vez por rastreador.

User agent Motor O que ele faz Se você bloquear
GPTBot ChatGPT Coleta páginas para treinar os modelos da OpenAI. Mantém seu conteúdo fora do treinamento. Não tira você da busca do ChatGPT.
OAI-SearchBot ChatGPT Monta o índice por trás da busca do ChatGPT. Tira você dos resultados de busca do ChatGPT. Normalmente é o que você não queria ter bloqueado.
ChatGPT-User ChatGPT Busca uma página ao vivo quando alguém pede ao ChatGPT para abrir um link. Quem colar seu link não recebe nada de volta.
ClaudeBot Claude Coleta páginas para a Anthropic. Mantém seu conteúdo fora dos dados de treinamento.
Claude-SearchBot Claude Lê a web para as buscas feitas dentro do Claude. Suas páginas ficam de fora do que o Claude encontra quando pesquisa.
Claude-User Claude Busca uma página quando alguém pergunta ao Claude sobre ela. O Claude não consegue abrir suas páginas quando pedem a ele.
Google-Extended Google AI Controla se suas páginas treinam o Gemini e aparecem nas respostas de IA. Não afeta o posicionamento comum na Busca do Google. É uma chave à parte.
PerplexityBot Perplexity Indexa páginas para o Perplexity poder citá-las. O Perplexity para de citar você, e ele cita bastante.
Perplexity-User Perplexity Busca uma página ao vivo para uma pergunta específica. As consultas ao vivo ao seu site falham.
Applebot Apple Intelligence (secundário) O rastreador de longa data da Apple, por trás da Siri e do Spotlight. Você perde os resultados na Siri e no Spotlight, além dos recursos de IA.
Applebot-Extended Apple Intelligence (secundário) Controla só o uso em treinamento, não a busca. Mantém você fora do treinamento dos modelos da Apple e preserva os resultados na Siri.
CCBot Common Crawl (secundário) Monta o conjunto de dados aberto com que muitos modelos são treinados. Tira você de um conjunto de dados usado por muitas empresas, e não por uma só.

Os quatro marcados como secundários mudam pouca coisa sobre se um motor consegue responder perguntas a seu respeito hoje. Os demais mudam.

Como liberar todo rastreador de IA

Não tenha regra nenhuma que os nomeie. Um robots.txt que não menciona o GPTBot libera o GPTBot, porque o arquivo funciona por exceção.

Como bloquear o treinamento e manter a busca

É isto que quase todo publisher que pensa no assunto quer de fato. Bloqueie os agentes de treinamento, libere os de busca:

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

Isso deixa o OAI-SearchBot, o PerplexityBot e os agentes de consulta em tempo real livres para encontrar você, então dá para continuar sendo citado nas respostas sem que as suas páginas alimentem o próximo modelo.

O erro que mais vemos

Um User-agent: * geral com Disallow: / que sobrou de um ambiente de testes, ou um plugin de segurança bloqueando tudo o que não reconhece. Nenhum dos dois foi uma decisão que alguém tomou sobre IA, e os dois são o motivo de sites que querem ser encontrados não serem.

Perguntas sobre rastreadores de IA

O ChatGPT consegue ler o meu site?

Se o seu robots.txt libera o GPTBot e o OAI-SearchBot, e a sua página não precisa de JavaScript para mostrar o texto, então sim. Esta verificação responde isso para o seu site em alguns segundos.

Qual é a linha de robots.txt para o GPTBot?

Para liberar, a resposta mais simples é não ter regra nenhuma que o nomeie. Para bloquear: User-agent: GPTBot em uma linha e Disallow: / na seguinte.

Bloquear o GPTBot me tira do ChatGPT?

Não, e este é o mal-entendido mais comum. O GPTBot é sobre treinamento. A busca do ChatGPT usa o OAI-SearchBot, que é outro nome e outra decisão.

O Google-Extended afeta a minha posição no Google?

Não. Ele controla se as suas páginas alimentam o Gemini e as respostas de IA do Google. O posicionamento na Busca comum é comandado pelo Googlebot e não é tocado por ele.

Eu libero tudo. Por que o meu conteúdo ainda não é usado?

Em geral por uma de três coisas: proteção contra bots barrando o rastreador antes mesmo de o robots.txt entrar em jogo, texto que só existe depois que o JavaScript roda, ou uma página que nunca diz qual é o negócio. A verificação completa testa as três.

O acesso de rastreadores é uma verificação entre cinco.

A verificação completa cobre também estrutura, compreensão, velocidade e segurança, e mostra quanto cada uma está custando a você.

Fazer a análise gratuita