Aller au contenu

Publié le

Référencement IA · Comprendre

Les robots des IA : lesquels laisser passer ?

Chaque éditeur envoie plusieurs robots : certains entraînent des modèles, d’autres alimentent une recherche. Le tableau complet, et le fichier robots.txt qui convient à une entreprise.

En bref

Les éditeurs d’IA séparent leurs robots par usage : entraînement des modèles (GPTBot, ClaudeBot, le réglage Google-Extended), indexation pour leur recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot) et lecture à la demande d’un utilisateur (ChatGPT-User, Claude-User, Perplexity-User). Une entreprise qui veut être citée laisse passer les robots de recherche ; refuser l’entraînement est un choix possible, sans effet sur la recherche.

Trois familles

Entraîner, indexer, lire à la demande

Un robot (on dit aussi « crawler ») est un programme qui visite les pages d’un site. Les éditeurs d’IA en envoient de trois sortes, et chacune appelle une décision différente.

  • Les robots d’entraînement collectent des pages pour améliorer les futurs modèles. Les bloquer retire vos pages des prochains entraînements, sans toucher à la recherche.
  • Les robots de recherche construisent l’index dans lequel l’assistant cherche avant de répondre. Les bloquer vous retire des réponses.
  • Les lecteurs à la demande visitent une page au moment où un utilisateur pose une question. Plusieurs éditeurs préviennent que robots.txt peut ne pas s’appliquer à eux, puisque la visite est demandée par une personne.

Le tableau

Chaque robot, son rôle, le réglage conseillé

Les robots des moteurs de réponse, leur rôle et le réglage conseillé pour une entreprise qui veut être citée
Robot Éditeur Rôle Réglage conseillé
Googlebot GoogleIndexation de la recherche, aperçus IA et mode IA comprisAutoriser
Google-Extended GoogleRéglage pour l’entraînement et l’ancrage de certains services Gemini, sans effet sur la rechercheAu choix
Bingbot MicrosoftIndexation de Bing, donc de Copilot et en partie de ChatGPTAutoriser
OAI-SearchBot OpenAIIndexation pour la recherche de ChatGPTAutoriser
ChatGPT-User OpenAILecture d’une page pendant une conversationAutoriser
GPTBot OpenAIEntraînement des modèlesAu choix
Claude-SearchBot AnthropicIndexation pour la recherche de ClaudeAutoriser
Claude-User AnthropicLecture d’une page à la demandeAutoriser
ClaudeBot AnthropicEntraînement des modèlesAu choix
PerplexityBot PerplexityIndexation pour les résultats de Perplexity (pas d’entraînement)Autoriser
Perplexity-User PerplexityLecture à la demande ; ignore en général robots.txtAutoriser
MistralAI-User Mistral AILecture à la demande pour Le ChatAutoriser

Les rôles viennent de la documentation de chaque éditeur, lue le 16 novembre 2026 (voir les sources en bas de page). Les éditeurs ajoutent ou renomment parfois leurs robots : un fichier robots.txt se relit une ou deux fois par an.

Exemple

Un robots.txt d’entreprise, ligne à ligne

Pour une entreprise qui veut être trouvée partout, le plus simple est souvent le meilleur : tout autoriser, et indiquer le plan du site.

Si vous préférez refuser l’entraînement tout en restant dans les réponses, ajoutez un bloc par robot d’entraînement : « User-agent: GPTBot » puis « Disallow: / », et de même pour ClaudeBot et Google-Extended. Les robots de recherche, eux, ne doivent apparaître sous aucune règle « Disallow: / ».

Les limites

Ce que robots.txt ne fait pas

Le fichier robots.txt est une convention, décrite par la norme RFC 9309 : les robots sérieux la respectent, mais elle ne protège rien. Elle ne retire pas non plus une page déjà indexée d’un moteur (c’est le rôle de la balise noindex), et elle ne s’applique pas toujours aux lecteurs à la demande. Pour un choix de fond, entre visibilité et protection de vos contenus : faut-il bloquer les IA ?

Vos questions

Questions fréquentes

Non. Sans fichier robots.txt, ou avec un fichier qui ne bloque rien, tous les robots sont autorisés. Le risque est inverse : une règle « Disallow: / » oubliée qui ferme tout le site.

Sources

Ce sur quoi s’appuie cette page

Les documents des éditeurs et des organismes cités, lus aux dates indiquées. Les moteurs de réponse évoluent vite : quand une source change, la page change avec elle.

Et si on s’en occupait pour vous ?

Voyez ce que chaque formule apporte à votre visibilité dans les moteurs de réponse, du site seul à l’accompagnement suivi.

Écrivez-nous