Robots IA et robots.txt : lesquels autoriser pour être visible sans tout céder ?

La question

Quels robots d'IA faut-il autoriser dans robots.txt pour rester visible dans les moteurs de réponse ?

La réponse courte

Il faut distinguer trois familles : les robots de recherche (qui permettent d'être cité, comme OAI-SearchBot ou PerplexityBot), les robots d'entraînement de modèles (comme GPTBot ou ClaudeBot) et les agents déclenchés par un utilisateur (comme ChatGPT-User). Autoriser les premiers est généralement nécessaire pour être visible ; bloquer les seconds est un choix de protection des contenus qui, d'après la documentation des éditeurs, n'empêche pas d'apparaître dans leurs résultats de recherche.

Lorsque j'ai construit ce site, je me suis posé la même question que beaucoup d'entreprises : quels robots d'intelligence artificielle laisser entrer ? Bloquer « l'IA » en bloc semble prudent, mais peut vous rendre invisible dans les moteurs de réponse. Tout ouvrir revient à accepter que vos contenus servent à entraîner des modèles. La bonne réponse dépend d'une distinction simple, que les éditeurs documentent eux-mêmes.

Trois familles de robots, trois finalités

Les robots de recherche explorent le web pour qu'un moteur puisse afficher et citer vos pages dans ses réponses.
Les robots d'entraînement collectent des contenus susceptibles de servir à entraîner des modèles d'IA.
Les agents de consultation visitent une page ponctuellement, parce qu'un utilisateur l'a demandé dans une conversation.

Le tableau de correspondance

Éditeur	Recherche / citation	Entraînement	Consultation à la demande
OpenAI	`OAI-SearchBot`	`GPTBot`	`ChatGPT-User`
Anthropic	`Claude-SearchBot`	`ClaudeBot`	`Claude-User`
Perplexity	`PerplexityBot`	— (non utilisé pour entraîner des modèles, selon Perplexity)	`Perplexity-User`
Google	`Googlebot` (Search, AI Overviews, mode IA)	jeton `Google-Extended`	—

Quelques précisions issues de la documentation officielle :

OpenAI indique qu'un site qui bloque OAI-SearchBot n'apparaîtra pas dans les réponses de ChatGPT Search (il peut toutefois rester visible sous forme de lien de navigation). GPTBot est indépendant : on peut autoriser la recherche et refuser l'entraînement. Pour ChatGPT-User, OpenAI précise que les règles robots.txt peuvent ne pas s'appliquer, puisque la visite est demandée par un utilisateur.
Google ne propose pas de robot distinct pour AI Overviews et le mode IA : ils reposent sur l'index de Google Search. Le jeton Google-Extended n'a pas d'effet sur la présence dans Google Search ; il contrôle l'utilisation des contenus pour l'entraînement des modèles Gemini et pour l'ancrage (grounding) des réponses dans les applications Gemini.
Anthropic indique que bloquer Claude-SearchBot peut réduire la visibilité d'un site dans les résultats de recherche de Claude, et que bloquer ClaudeBot signale que les contenus futurs doivent être exclus de l'entraînement.
Perplexity indique que PerplexityBot sert à afficher et lier des sites dans ses résultats, et que Perplexity-User ignore généralement robots.txt, la visite étant demandée par un utilisateur.

Faut-il un fichier llms.txt ou un balisage spécial ?

Je n'en ai donc pas ajouté sur ce site. Les leviers documentés restent les fondamentaux : contenu accessible en HTML, indexation, structure claire, données structurées conformes au contenu visible.

Les contrôles plus fins côté Google

Pour limiter ce que Google peut reprendre d'une page, y compris dans ses fonctionnalités d'IA, ce sont les contrôles d'extraits habituels qui s'appliquent : nosnippet, data-nosnippet, max-snippet ou noindex. Ils agissent aussi sur l'affichage dans la recherche classique : à manier avec précaution.

Trois politiques possibles

Visibilité maximale : tout autoriser. Vos contenus peuvent être cités et servir à l'entraînement.

User-agent: *
Allow: /
Sitemap: https://exemple.fr/sitemap.xml

Visible, sans entraînement : autoriser la recherche, bloquer les robots d'entraînement.

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Sitemap: https://exemple.fr/sitemap.xml

Protection forte : bloquer aussi les robots de recherche IA. Vos pages ne pourront alors plus être citées dans les réponses de ces moteurs.

N'oubliez pas qu'un robots.txt est une consigne, pas une protection technique : il est respecté par les robots qui s'y engagent, et ne s'applique pas toujours aux visites déclenchées par un utilisateur.

Le choix que j'ai fait pour ce site

Pour un site dont les contenus sont un actif (formation payante, base documentaire, média), la politique « visible, sans entraînement » est souvent un meilleur compromis.

En résumé

Distinguez recherche, entraînement et consultation : ce sont des robots différents.
Autoriser les robots de recherche est, d'après les éditeurs, nécessaire pour être cité dans leurs réponses.
Bloquer l'entraînement n'empêche pas, selon leur documentation, d'apparaître dans leurs résultats de recherche.
Aucun fichier spécial n'est requis par Google pour ses fonctionnalités d'IA.
Revérifiez régulièrement la documentation : ces règles évoluent vite.

Vous souhaitez faire le point sur la visibilité de votre site ? Découvrez mon accompagnement SEO & GEO.