Ferramenta gratuita · menos de um minuto
O ChatGPT consegue ler o seu site? Verifique em cinco segundos
Lemos o seu robots.txt e o conferimos com 12 rastreadores nomeados de 6 motores de IA, e depois dizemos quais você está mandando embora.
Os 12 rastreadores que verificamos
Liberar ou bloquear cada um é uma decisão de verdade com uma consequência de verdade. A consequência é esta, dita uma vez por rastreador.
| User agent | Motor | O que ele faz | Se você bloquear |
|---|---|---|---|
| GPTBot | ChatGPT | Coleta páginas para treinar os modelos da OpenAI. | Mantém seu conteúdo fora do treinamento. Não tira você da busca do ChatGPT. |
| OAI-SearchBot | ChatGPT | Monta o índice por trás da busca do ChatGPT. | Tira você dos resultados de busca do ChatGPT. Normalmente é o que você não queria ter bloqueado. |
| ChatGPT-User | ChatGPT | Busca uma página ao vivo quando alguém pede ao ChatGPT para abrir um link. | Quem colar seu link não recebe nada de volta. |
| ClaudeBot | Claude | Coleta páginas para a Anthropic. | Mantém seu conteúdo fora dos dados de treinamento. |
| Claude-SearchBot | Claude | Lê a web para as buscas feitas dentro do Claude. | Suas páginas ficam de fora do que o Claude encontra quando pesquisa. |
| Claude-User | Claude | Busca uma página quando alguém pergunta ao Claude sobre ela. | O Claude não consegue abrir suas páginas quando pedem a ele. |
| Google-Extended | Google AI | Controla se suas páginas treinam o Gemini e aparecem nas respostas de IA. | Não afeta o posicionamento comum na Busca do Google. É uma chave à parte. |
| PerplexityBot | Perplexity | Indexa páginas para o Perplexity poder citá-las. | O Perplexity para de citar você, e ele cita bastante. |
| Perplexity-User | Perplexity | Busca uma página ao vivo para uma pergunta específica. | As consultas ao vivo ao seu site falham. |
| Applebot | Apple Intelligence (secundário) | O rastreador de longa data da Apple, por trás da Siri e do Spotlight. | Você perde os resultados na Siri e no Spotlight, além dos recursos de IA. |
| Applebot-Extended | Apple Intelligence (secundário) | Controla só o uso em treinamento, não a busca. | Mantém você fora do treinamento dos modelos da Apple e preserva os resultados na Siri. |
| CCBot | Common Crawl (secundário) | Monta o conjunto de dados aberto com que muitos modelos são treinados. | Tira você de um conjunto de dados usado por muitas empresas, e não por uma só. |
Os quatro marcados como secundários mudam pouca coisa sobre se um motor consegue responder perguntas a seu respeito hoje. Os demais mudam.
Como liberar todo rastreador de IA
Não tenha regra nenhuma que os nomeie. Um robots.txt que não menciona o GPTBot libera o GPTBot, porque o arquivo funciona por exceção.
Como bloquear o treinamento e manter a busca
É isto que quase todo publisher que pensa no assunto quer de fato. Bloqueie os agentes de treinamento, libere os de busca:
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: / Isso deixa o OAI-SearchBot, o PerplexityBot e os agentes de consulta em tempo real livres para encontrar você, então dá para continuar sendo citado nas respostas sem que as suas páginas alimentem o próximo modelo.
O erro que mais vemos
Um User-agent: * geral com Disallow: / que sobrou de um ambiente de testes, ou um plugin de segurança bloqueando tudo o que não reconhece. Nenhum dos dois foi uma decisão que alguém tomou sobre IA, e os dois são o motivo de sites que querem ser encontrados não serem.
Perguntas sobre rastreadores de IA
O ChatGPT consegue ler o meu site?
Se o seu robots.txt libera o GPTBot e o OAI-SearchBot, e a sua página não precisa de JavaScript para mostrar o texto, então sim. Esta verificação responde isso para o seu site em alguns segundos.
Qual é a linha de robots.txt para o GPTBot?
Para liberar, a resposta mais simples é não ter regra nenhuma que o nomeie. Para bloquear: User-agent: GPTBot em uma linha e Disallow: / na seguinte.
Bloquear o GPTBot me tira do ChatGPT?
Não, e este é o mal-entendido mais comum. O GPTBot é sobre treinamento. A busca do ChatGPT usa o OAI-SearchBot, que é outro nome e outra decisão.
O Google-Extended afeta a minha posição no Google?
Não. Ele controla se as suas páginas alimentam o Gemini e as respostas de IA do Google. O posicionamento na Busca comum é comandado pelo Googlebot e não é tocado por ele.
Eu libero tudo. Por que o meu conteúdo ainda não é usado?
Em geral por uma de três coisas: proteção contra bots barrando o rastreador antes mesmo de o robots.txt entrar em jogo, texto que só existe depois que o JavaScript roda, ou uma página que nunca diz qual é o negócio. A verificação completa testa as três.
O acesso de rastreadores é uma verificação entre cinco.
A verificação completa cobre também estrutura, compreensão, velocidade e segurança, e mostra quanto cada uma está custando a você.