Aller au contenu
PickableAI

Robots des IA et robots.txt : lesquels laisser passer

Beaucoup de sites bloquent les robots des IA sans le savoir (thème, plugin de sécurité, pare-feu de l'hébergeur). Résultat : ChatGPT ou Perplexity ne peuvent pas lire vos pages, et vous recommandent moins. Voici qui est qui.

Par l'équipe PickableAI · Mis à jour le 30 septembre 2026 · 2 min de lecture

Deux familles de robots

Il faut distinguer :

  • Les robots de recherche, qui lisent votre site pour répondre aux questions des utilisateurs en temps réel. Les bloquer, c'est disparaître de ces réponses.
  • Les robots d'entraînement, qui collectent des textes pour entraîner les futurs modèles. Les bloquer est un choix légitime : cela n'empêche pas d'être cité par la recherche.

Qui est qui

RobotÉditeurRôleConseil
OAI-SearchBotOpenAIRecherche de ChatGPTAutoriser
ChatGPT-UserOpenAIVisite d'une page à la demande d'un utilisateurAutoriser
GPTBotOpenAIEntraînement des modèlesAu choix
PerplexityBotPerplexityIndex de rechercheAutoriser
Perplexity-UserPerplexityVisite à la demande d'un utilisateurAutoriser
Claude-SearchBotAnthropicRecherche de ClaudeAutoriser
Claude-UserAnthropicVisite à la demande d'un utilisateurAutoriser
ClaudeBotAnthropicEntraînementAu choix
GooglebotGoogleRecherche Google et réponses IA de GoogleAutoriser
Google-ExtendedGoogleUsage par Gemini (hors Google Search)Au choix
BingbotMicrosoftBing et Copilot (et des services qui s'appuient sur Bing)Autoriser
Applebot / Applebot-ExtendedAppleRecherche Siri / entraînementAutoriser / au choix
CCBotCommon CrawlArchive ouverte, utilisée pour entraîner des modèlesAu choix

Le robots.txt conseillé

Pour une entreprise locale qui veut être recommandée, le plus simple est de tout autoriser :

User-agent: * puis Allow: /, et la ligne Sitemap: avec l'adresse de votre sitemap.

Si vous préférez refuser l'entraînement tout en restant visible dans les réponses, ajoutez des blocs séparés User-agent: GPTBot, User-agent: ClaudeBot, User-agent: CCBot avec Disallow: /. Ne bloquez jamais OAI-SearchBot, PerplexityBot, Claude-SearchBot, Googlebot ou Bingbot si vous voulez être cité.

Les blocages invisibles

Le robots.txt n'est pas le seul coupable :

  • Pare-feu et protections anti-robots (Cloudflare, plugins de sécurité WordPress) : certains bloquent par défaut les robots des IA. Vérifiez les réglages « bots IA » de votre hébergeur ou de Cloudflare.
  • Site qui s'affiche en JavaScript : les robots des IA n'exécutent généralement pas le JavaScript. Si votre texte n'est pas dans le HTML envoyé par le serveur, ils voient une page vide.
  • Balise noindex oubliée après une refonte.

Notre outil Votre site vu par l'IA vérifie ces trois points et votre robots.txt en 20 secondes.

Guides par métier

Comparer les outils

L'IA vous recommande-t-elle ?

L'analyse gratuite pose aux IA les questions de vos clients (« meilleur {métier} à {ville} ») et vous montre votre place, ou qui est cité à votre place.

Tester mon entreprise

Voir les formules et les prix