Robots IA : qui laisser entrer, qui bloquer, et pourquoi c'est décisif

27 septembre 2026

Chaque propriétaire de site fait désormais un choix que personne ne lui a demandé : bloquer les robots IA et protéger le contenu, ou ouvrir la porte et exister dans les réponses.

Quelque part dans les journaux de votre serveur, des machines nommées GPTBot, ClaudeBot ou PerplexityBot demandent vos pages. Chaque visite pose une question que vous n'avez jamais choisi de trancher : être lu par une IA, est-ce un vol de contenu, ou le seul canal de distribution encore en croissance ? La réponse dépend de ce que vend votre site - et la plupart des propriétaires décident par accident, via un robots.txt qu'ils n'ont pas relu depuis des années.

Entraînement et récupération : deux portes différentes

La distinction la plus utile du débat est celle que les vendeurs brouillent. Les robots d'entraînement - GPTBot, Google-Extended, ClaudeBot dans son rôle d'entraînement - collectent du texte pour instruire les futurs modèles ; les bloquer garde vos mots hors des poids du prochain modèle, lentement et invisiblement. Les robots de récupération - OAI-SearchBot pour ChatGPT Search, PerplexityBot, Bingbot qui alimente Copilot - vont chercher des pages pour répondre à une question posée maintenant, avec citation et souvent un lien. Bloquer l'entraînement est une position philosophique aux effets différés. Bloquer la récupération, c'est s'effacer des réponses que vos acheteurs liront cet après-midi.

La décision, selon votre modèle

Vous vendez le contenu lui-même - presse, recherche, données. Bloquer les robots d'entraînement et négocier des licences est cohérent : vos mots sont le produit, et leur ingestion par les modèles est de la matière première non payée.
Vous vendez des services ou des produits que le contenu promeut. Ouvrez tout. Une citation dans une réponse est la nouvelle recommandation, et le contenu a toujours été l'appât, pas la marchandise. Bloquer ici, c'est garder le prospectus en fermant la boutique.
Vous êtes mixte - un produit avec un vrai blog. Autorisez la récupération partout ; tranchez l'entraînement au cas par cas. Le blog existe pour être trouvé, quelle que soit votre position sur les poids des modèles.
Quoi que vous choisissiez, choisissez-le. La pire position est l'accidentelle : un site tout-JavaScript qui bloque chaque lecteur IA sans le vouloir pendant que son robots.txt dit bienvenue.

Mériter la lecture, une fois la porte ouverte

Servir du vrai HTML. La plupart des robots IA n'exécutent aucun JavaScript ; un site rendu côté client est une porte fermée, quelle que soit la politique affichée.
Publier un llms.txt - ce qu'est l'entreprise, ce qu'elle vend, où vivent les pages de fond. Une requête, un format pensé pour la machine, à la racine.
Annoncer les nouveautés par IndexNow, pour que l'index Bing - qui alimente ChatGPT Search et Copilot - apprenne l'existence d'une page en heures plutôt qu'en semaines.
Tenir l'entité cohérente partout, et dater ce qu'on met à jour - le socle détaillé dans le generative engine optimization.

Les coûts, dits honnêtement

Les portes ouvertes ont un prix. Le trafic des robots est une charge réelle - négligeable pour un site statique, à limiter pour une application lourde. Vos mots seront paraphrasés sans clic plus souvent que cités avec. Et aucune politique n'est permanente : les robots, leurs noms et leurs comportements changent chaque trimestre - le fichier robots mérite une revue annuelle avec un responsable, comme n'importe quel contrat. C'est une partie de ce qu'audite une mission de SEO technique et GEO.

2 familles de robots - entraînement et récupération - aux enjeux opposés
1 politique accidentelle : le site tout-JS bloque tout lecteur IA en silence
1x/an la fréquence d'une vraie revue du robots.txt

Bloquer un robot d'entraînement est une opinion. Bloquer un robot de récupération est une absence.

Questions fréquentes

Si je bloque GPTBot, est-ce que je disparais de ChatGPT ?

Pas immédiatement, et pas entièrement. GPTBot nourrit l'entraînement ; la recherche en direct de ChatGPT passe par OAI-SearchBot et l'index Bing, donc bloquer GPTBot seul vous laisse citable dans les réponses en mode recherche. Bloquez les trois - GPTBot, OAI-SearchBot et Bingbot - et vous disparaissez à la fois de la mémoire du modèle et de ses recherches. Sachez quelle porte ferme chaque directive avant de la fermer.

C'est quoi, exactement, un llms.txt ?

Un fichier texte à la racine du site, écrit pour des machines qui ne lisent ni le JavaScript ni les sitemaps pour le sens : ce qu'est l'organisation, ce qu'elle propose, et une liste choisie des pages qui comptent, avec une ligne de description chacune. C'est une convention émergente plutôt qu'un standard, cela coûte une heure à produire, et c'est la clarté la moins chère qu'on puisse offrir à un lecteur IA.

Les robots IA peuvent-ils surcharger un site ?

Ils savent être lourds - Perplexity comme les robots d'entraînement ont suscité des plaintes pour collecte agressive. Un site statique ou prérendu ne les remarque presque pas ; une application qui rend chaque page à la demande devrait limiter le débit par user agent plutôt que bloquer. Un robot qui ignore le robots.txt relève du pare-feu, plus de la politique.