Outil gratuit · moins d’une minute
ChatGPT peut-il lire votre site ? Vérifiez en cinq secondes
Nous lisons votre robots.txt et le testons face à 12 crawlers nommés de 6 moteurs d’IA, puis nous vous disons lesquels vous écartez.
Les 12 crawlers que nous vérifions
Autoriser ou bloquer chacun est une vraie décision avec une vraie conséquence. Voici la conséquence, énoncée une fois par crawler.
| Agent utilisateur | Moteur | Ce qu’il fait | Si vous le bloquez |
|---|---|---|---|
| GPTBot | ChatGPT | Collecte des pages pour entraîner les modèles d’OpenAI. | Garde votre contenu hors de l’entraînement. Ne vous retire pas de la recherche ChatGPT. |
| OAI-SearchBot | ChatGPT | Construit l’index derrière la recherche ChatGPT. | Vous retire des résultats de recherche ChatGPT. C’est en général celui qu’on ne voulait pas bloquer. |
| ChatGPT-User | ChatGPT | Récupère une page en direct quand un utilisateur demande à ChatGPT d’ouvrir un lien. | Un utilisateur qui colle votre lien n’obtient rien. |
| ClaudeBot | Claude | Collecte des pages pour Anthropic. | Garde votre contenu hors des données d’entraînement. |
| Claude-SearchBot | Claude | Parcourt le web pour les recherches faites dans Claude. | Vos pages restent hors de ce que Claude trouve quand il cherche. |
| Claude-User | Claude | Récupère une page quand quelqu’un interroge Claude à son sujet. | Claude ne peut pas ouvrir vos pages quand on le lui demande. |
| Google-Extended | Google AI | Détermine si vos pages entraînent Gemini et apparaissent dans les réponses d’IA. | N’affecte pas le classement ordinaire dans Google Search. C’est un interrupteur distinct. |
| PerplexityBot | Perplexity | Indexe les pages pour que Perplexity puisse les citer. | Perplexity cesse de vous citer, et il cite beaucoup. |
| Perplexity-User | Perplexity | Récupère une page en direct pour une question précise. | Les consultations en direct de votre site échouent. |
| Applebot | Apple Intelligence (mineur) | Le crawler historique d’Apple, derrière Siri et Spotlight. | Vous perdez les résultats Siri et Spotlight en plus des fonctions d’IA. |
| Applebot-Extended | Apple Intelligence (mineur) | Ne contrôle que l’usage pour l’entraînement, pas la recherche. | Vous garde hors de l’entraînement des modèles d’Apple tout en conservant les résultats Siri. |
| CCBot | Common Crawl (mineur) | Construit le jeu de données ouvert sur lequel beaucoup de modèles sont entraînés. | Vous retire d’un jeu de données utilisé bien au-delà d’une seule entreprise. |
Les quatre marqués mineurs changent peu de chose à la capacité d’un moteur à répondre aujourd’hui à des questions sur vous. Les autres, si.
Comment autoriser tous les crawlers d’IA
N’ayez aucune règle qui les nomme. Un robots.txt qui ne mentionne pas GPTBot autorise GPTBot, car le fichier fonctionne par exception.
Comment bloquer l’entraînement en gardant la recherche
C’est ce que veulent réellement la plupart des éditeurs qui y réfléchissent. Bloquez les agents d’entraînement, autorisez ceux de recherche :
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: / Cela laisse OAI-SearchBot, PerplexityBot et les récupérateurs en direct libres de vous trouver, de sorte que vous pouvez encore être cité dans les réponses sans que vos pages nourrissent le modèle suivant.
L’erreur que nous voyons le plus
Un User-agent: * général avec Disallow: / resté d’un site de préproduction, ou un plugin de sécurité qui bloque tout ce qu’il ne reconnaît pas. Ni l’un ni l’autre n’était une décision prise à propos de l’IA, et tous deux expliquent pourquoi des sites qui veulent être trouvés ne le sont pas.
Questions sur les crawlers d’IA
ChatGPT peut-il lire mon site ?
Si votre robots.txt autorise GPTBot et OAI-SearchBot, et que votre page n’a pas besoin de JavaScript pour afficher son texte, alors oui. Cette vérification y répond pour votre site en quelques secondes.
Quelle est la ligne robots.txt pour GPTBot ?
Pour l’autoriser, le plus simple est de n’avoir aucune règle qui le nomme. Pour le bloquer : User-agent: GPTBot sur une ligne et Disallow: / sur la suivante.
Bloquer GPTBot me retire-t-il de ChatGPT ?
Non, et c’est le malentendu le plus courant. GPTBot concerne l’entraînement. La recherche ChatGPT utilise OAI-SearchBot, qui est un nom distinct et une décision distincte.
Google-Extended affecte-t-il mon classement Google ?
Non. Il détermine si vos pages nourrissent Gemini et les réponses d’IA de Google. Le classement ordinaire dans Search est régi par Googlebot et n’en est pas affecté.
J’autorise tout. Pourquoi mon contenu n’est-il toujours pas utilisé ?
En général l’une de trois choses : une protection anti-bots qui défie le crawler avant que robots.txt n’entre en jeu, du texte qui n’existe qu’après l’exécution de JavaScript, ou une page qui ne dit jamais ce qu’est l’entreprise. La vérification complète teste les trois.
L’accès des crawlers est une vérification sur cinq.
La vérification complète couvre aussi la structure, la compréhension, la vitesse et la sécurité, et montre ce que chacune vous coûte.