Publié le
Référencement IA · Comprendre
Claude : comment l’assistant d’Anthropic cherche sur le web
Anthropic sépare nettement l’entraînement, l’indexation et la lecture à la demande. Ce que fait chacun de ses trois robots, et le réglage qui convient à une entreprise.
En bref
Claude, l’assistant d’Anthropic, peut chercher sur le web et lire des pages pour répondre. Anthropic documente trois robots : ClaudeBot pour l’entraînement des modèles, Claude-SearchBot pour indexer les pages de sa recherche, et Claude-User pour lire une page à la demande d’un utilisateur. Une entreprise qui veut être citée laisse passer les deux derniers ; elle peut refuser le premier sans effet sur sa visibilité.
Les robots
Trois robots, trois réglages
Anthropic décrit le rôle de chacun de ses robots dans une page d’aide destinée aux propriétaires de sites, à jour au 30 octobre 2026. La distinction est la plus nette du marché.
| Robot | Son rôle | Si vous le bloquez |
|---|---|---|
| ClaudeBot | Collecter des pages pour améliorer les modèles d’Anthropic | Vos futures pages sont exclues de l’entraînement |
| Claude-SearchBot | Parcourir le web pour améliorer la qualité de la recherche de Claude | Vos pages ne sont plus indexées pour la recherche : visibilité et exactitude peuvent baisser |
| Claude-User | Lire une page quand un utilisateur de Claude pose une question | Claude ne peut plus lire votre page pour répondre : votre visibilité peut baisser |
Pour une entreprise qui veut être trouvée, le réglage raisonnable est donc : Claude-SearchBot et Claude-User autorisés, ClaudeBot selon votre choix sur l’entraînement.
Les règles
Ce que précise Anthropic
- Ses robots respectent les directives du fichier robots.txt ; une règle qui nomme ClaudeBot l’emporte sur un réglage général.
- La règle doit figurer dans le robots.txt de chaque sous-domaine : un blocage posé sur www.votre-site.fr ne vaut pas pour boutique.votre-site.fr.
- ClaudeBot accepte la directive Crawl-delay, qui espace ses visites si votre serveur est fragile.
- Bloquer des adresses IP n’est pas un moyen fiable de s’exclure : Anthropic recommande le fichier robots.txt.
La citation
Ce qui aide Claude à citer une page
Anthropic ne publie pas de critères de sélection. Comme les autres assistants, Claude cherche, lit quelques pages et cite celles qu’il a utilisées. Les mêmes qualités font une page citable : une réponse directe à la question, des faits précis et datés, une source identifiable, des informations concordantes avec d’autres sources.
Sa place
Faut-il s’en soucier quand on est une petite entreprise ?
Claude est moins utilisé que ChatGPT ou Gemini par le grand public en France. Mais les réglages qui le concernent ne coûtent rien : laisser passer ses robots de recherche, c’est une ligne de robots.txt. Et les pages qui le servent sont les mêmes que pour les autres assistants. Le bon réflexe : régler une fois tous les robots de recherche, puis consacrer son temps aux pages et aux sources extérieures.
Vos questions
Questions fréquentes
Non, selon Anthropic : ClaudeBot sert à l’entraînement des modèles. Ce sont Claude-SearchBot et Claude-User qui servent la recherche et la lecture à la demande ; Anthropic prévient que les bloquer peut réduire la visibilité de votre site dans les réponses.
Anthropic indique que ses robots respectent les directives du fichier robots.txt, et qu’il faut les poser sur chaque sous-domaine concerné. Il précise que bloquer des adresses IP n’est pas un moyen fiable de s’en exclure.
Sources
Ce sur quoi s’appuie cette page
Les documents des éditeurs et des organismes cités, lus aux dates indiquées. Les moteurs de réponse évoluent vite : quand une source change, la page change avec elle.
- Les robots d’Anthropic, et comment les bloquer (page d’aide, en anglais) , Anthropic (lu le 16 novembre 2026)
Et si on s’en occupait pour vous ?
Voyez ce que chaque formule apporte à votre visibilité dans les moteurs de réponse, du site seul à l’accompagnement suivi.