Robots des IA et robots.txt : lesquels laisser passer
Beaucoup de sites bloquent les robots des IA sans le savoir (thème, plugin de sécurité, pare-feu de l'hébergeur). Résultat : ChatGPT ou Perplexity ne peuvent pas lire vos pages, et vous recommandent moins. Voici qui est qui.
Par l'équipe PickableAI · Mis à jour le 30 septembre 2026 · 2 min de lecture
Deux familles de robots
Il faut distinguer :
- Les robots de recherche, qui lisent votre site pour répondre aux questions des utilisateurs en temps réel. Les bloquer, c'est disparaître de ces réponses.
- Les robots d'entraînement, qui collectent des textes pour entraîner les futurs modèles. Les bloquer est un choix légitime : cela n'empêche pas d'être cité par la recherche.
Qui est qui
| Robot | Éditeur | Rôle | Conseil |
|---|---|---|---|
OAI-SearchBot | OpenAI | Recherche de ChatGPT | Autoriser |
ChatGPT-User | OpenAI | Visite d'une page à la demande d'un utilisateur | Autoriser |
GPTBot | OpenAI | Entraînement des modèles | Au choix |
PerplexityBot | Perplexity | Index de recherche | Autoriser |
Perplexity-User | Perplexity | Visite à la demande d'un utilisateur | Autoriser |
Claude-SearchBot | Anthropic | Recherche de Claude | Autoriser |
Claude-User | Anthropic | Visite à la demande d'un utilisateur | Autoriser |
ClaudeBot | Anthropic | Entraînement | Au choix |
Googlebot | Recherche Google et réponses IA de Google | Autoriser | |
Google-Extended | Usage par Gemini (hors Google Search) | Au choix | |
Bingbot | Microsoft | Bing et Copilot (et des services qui s'appuient sur Bing) | Autoriser |
Applebot / Applebot-Extended | Apple | Recherche Siri / entraînement | Autoriser / au choix |
CCBot | Common Crawl | Archive ouverte, utilisée pour entraîner des modèles | Au choix |
Le robots.txt conseillé
Pour une entreprise locale qui veut être recommandée, le plus simple est de tout autoriser :
User-agent: * puis Allow: /, et la ligne Sitemap: avec l'adresse de votre sitemap.
Si vous préférez refuser l'entraînement tout en restant visible dans les réponses, ajoutez des blocs séparés User-agent: GPTBot, User-agent: ClaudeBot, User-agent: CCBot avec Disallow: /. Ne bloquez jamais OAI-SearchBot, PerplexityBot, Claude-SearchBot, Googlebot ou Bingbot si vous voulez être cité.
Les blocages invisibles
Le robots.txt n'est pas le seul coupable :
- Pare-feu et protections anti-robots (Cloudflare, plugins de sécurité WordPress) : certains bloquent par défaut les robots des IA. Vérifiez les réglages « bots IA » de votre hébergeur ou de Cloudflare.
- Site qui s'affiche en JavaScript : les robots des IA n'exécutent généralement pas le JavaScript. Si votre texte n'est pas dans le HTML envoyé par le serveur, ils voient une page vide.
- Balise noindex oubliée après une refonte.
Notre outil Votre site vu par l'IA vérifie ces trois points et votre robots.txt en 20 secondes.
L'IA vous recommande-t-elle ?
L'analyse gratuite pose aux IA les questions de vos clients (« meilleur {métier} à {ville} ») et vous montre votre place, ou qui est cité à votre place.
Tester mon entreprise