Publié le
Référencement IA · Comprendre
Les robots des IA : lesquels laisser passer ?
Chaque éditeur envoie plusieurs robots : certains entraînent des modèles, d’autres alimentent une recherche. Le tableau complet, et le fichier robots.txt qui convient à une entreprise.
En bref
Les éditeurs d’IA séparent leurs robots par usage : entraînement des modèles (GPTBot, ClaudeBot, le réglage Google-Extended), indexation pour leur recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot) et lecture à la demande d’un utilisateur (ChatGPT-User, Claude-User, Perplexity-User). Une entreprise qui veut être citée laisse passer les robots de recherche ; refuser l’entraînement est un choix possible, sans effet sur la recherche.
Trois familles
Entraîner, indexer, lire à la demande
Un robot (on dit aussi « crawler ») est un programme qui visite les pages d’un site. Les éditeurs d’IA en envoient de trois sortes, et chacune appelle une décision différente.
- Les robots d’entraînement collectent des pages pour améliorer les futurs modèles. Les bloquer retire vos pages des prochains entraînements, sans toucher à la recherche.
- Les robots de recherche construisent l’index dans lequel l’assistant cherche avant de répondre. Les bloquer vous retire des réponses.
- Les lecteurs à la demande visitent une page au moment où un utilisateur pose une question. Plusieurs éditeurs préviennent que robots.txt peut ne pas s’appliquer à eux, puisque la visite est demandée par une personne.
Le tableau
Chaque robot, son rôle, le réglage conseillé
| Robot | Éditeur | Rôle | Réglage conseillé |
|---|---|---|---|
| Googlebot | Indexation de la recherche, aperçus IA et mode IA compris | Autoriser | |
| Google-Extended | Réglage pour l’entraînement et l’ancrage de certains services Gemini, sans effet sur la recherche | Au choix | |
| Bingbot | Microsoft | Indexation de Bing, donc de Copilot et en partie de ChatGPT | Autoriser |
| OAI-SearchBot | OpenAI | Indexation pour la recherche de ChatGPT | Autoriser |
| ChatGPT-User | OpenAI | Lecture d’une page pendant une conversation | Autoriser |
| GPTBot | OpenAI | Entraînement des modèles | Au choix |
| Claude-SearchBot | Anthropic | Indexation pour la recherche de Claude | Autoriser |
| Claude-User | Anthropic | Lecture d’une page à la demande | Autoriser |
| ClaudeBot | Anthropic | Entraînement des modèles | Au choix |
| PerplexityBot | Perplexity | Indexation pour les résultats de Perplexity (pas d’entraînement) | Autoriser |
| Perplexity-User | Perplexity | Lecture à la demande ; ignore en général robots.txt | Autoriser |
| MistralAI-User | Mistral AI | Lecture à la demande pour Le Chat | Autoriser |
Les rôles viennent de la documentation de chaque éditeur, lue le 16 novembre 2026 (voir les sources en bas de page). Les éditeurs ajoutent ou renomment parfois leurs robots : un fichier robots.txt se relit une ou deux fois par an.
Exemple
Un robots.txt d’entreprise, ligne à ligne
Pour une entreprise qui veut être trouvée partout, le plus simple est souvent le meilleur : tout autoriser, et indiquer le plan du site.
Si vous préférez refuser l’entraînement tout en restant dans les réponses, ajoutez un bloc par robot d’entraînement : « User-agent: GPTBot » puis « Disallow: / », et de même pour ClaudeBot et Google-Extended. Les robots de recherche, eux, ne doivent apparaître sous aucune règle « Disallow: / ».
Les limites
Ce que robots.txt ne fait pas
Le fichier robots.txt est une convention, décrite par la norme RFC 9309 : les robots sérieux la respectent, mais elle ne protège rien. Elle ne retire pas non plus une page déjà indexée d’un moteur (c’est le rôle de la balise noindex), et elle ne s’applique pas toujours aux lecteurs à la demande. Pour un choix de fond, entre visibilité et protection de vos contenus : faut-il bloquer les IA ?
Vos questions
Questions fréquentes
Non. Sans fichier robots.txt, ou avec un fichier qui ne bloque rien, tous les robots sont autorisés. Le risque est inverse : une règle « Disallow: / » oubliée qui ferme tout le site.
Pour un site de quelques dizaines de pages, rarement. Si votre serveur souffre, préférez espacer les visites des robots d’entraînement (Anthropic accepte la directive Crawl-delay pour ClaudeBot) plutôt que de bloquer les robots de recherche.
Les journaux de votre hébergeur listent les visites avec le nom du robot (son « user-agent »). Certains outils de mesure, dont celui de la plateforme d’Azelize, reconnaissent les lecteurs des assistants (ChatGPT-User, Perplexity-User, Claude-User).
Sources
Ce sur quoi s’appuie cette page
Les documents des éditeurs et des organismes cités, lus aux dates indiquées. Les moteurs de réponse évoluent vite : quand une source change, la page change avec elle.
- Overview of OpenAI Crawlers , OpenAI (lu le 16 novembre 2026)
- Les robots d’Anthropic, et comment les bloquer (page d’aide, en anglais) , Anthropic (lu le 16 novembre 2026)
- Perplexity Crawlers , Perplexity (lu le 16 novembre 2026)
- Google common crawlers (Google-Extended) , Google Search Central (lu le 16 novembre 2026)
- RFC 9309, Robots Exclusion Protocol , IETF (lu le 16 novembre 2026)
Pour aller plus loin
Les pages voisines
Et si on s’en occupait pour vous ?
Voyez ce que chaque formule apporte à votre visibilité dans les moteurs de réponse, du site seul à l’accompagnement suivi.