Robots des IA : faut-il les autoriser ou les bloquer ?

Depuis 2023, des dizaines de milliers de sites ont ajouté des règles de blocage dans leur fichier robots.txt pour se protéger des IA. Une partie d'entre eux s'est ainsi retirée des réponses générées sans le vouloir, parce que le même fichier contrôle deux choses très différentes. Google documente le fonctionnement du protocole dans sa page sur l'introduction à robots.txt, et liste ses propres agents dans l'aperçu des robots Google.

Le fichier robots.txt est loin d'être universellement maîtrisé : le Web Almanac 2024 mesure que 14,1% des sites mobiles n'en servent aucun, leur requête retournant une erreur 404. Cet article explique ce que chaque décision coûte réellement.

Quelle est la différence entre les deux familles de robots ?

Elle tient à ce que le robot fait de la page une fois lue, et elle change complètement les conséquences d'un blocage.

Un robot de recherche IA va chercher votre page au moment où un utilisateur pose une question, pour composer une réponse et vous citer. Il fonctionne comme un moteur de recherche classique : sa visite précède immédiatement une citation potentielle.

Un robot d'entraînement collecte des textes pour constituer un corpus d'apprentissage. Sa visite n'a aucun lien avec une réponse en cours, et ce qu'il collecte ne vous rapportera au mieux qu'une mention non attribuée dans un modèle publié des mois plus tard.

Pourquoi bloquer les AI Overviews est impossible séparément

Parce que les réponses générées de Google s'appuient sur l'index de recherche classique, alimenté par Googlebot. Il n'existe pas d'agent distinct qu'on pourrait refuser tout en restant dans les résultats bleus.

Le seul levier disponible est indirect : la directive nosnippet ou max-snippet, qui limite ce que Google peut afficher comme extrait de votre page. Elle réduit aussi votre visibilité dans les résultats classiques, y compris vos extraits optimisés, ce qui en fait un remède souvent pire que le mal.

Google-Extended, en revanche, ne concerne que l'entraînement de ses modèles génératifs. Le refuser n'affecte ni votre classement ni votre présence dans les AI Overviews. C'est le seul blocage « sans coût de visibilité » du côté de Google.

Que perd-on vraiment en bloquant les robots de recherche IA ?

La citation, c'est-à-dire la visibilité auprès d'un lecteur souvent en phase de décision. Une réponse générée qui cite trois sources et pas vous ne vous laisse aucune place, quelle que soit votre position dans les résultats classiques.

Ce coût augmente avec le type de requête. Sur une question factuelle dont la réponse tient en trois phrases, la réponse générée capte une part importante de l'attention. Sur une requête commerciale, où l'internaute veut comparer des prix et lire des avis, le clic reste indispensable et le manque à gagner est plus faible.

La contrepartie souvent invoquée est la protection du contenu. Elle est réelle mais partielle : bloquer un robot n'empêche pas un modèle de connaître votre contenu s'il l'a déjà appris, ni de le reprendre via un tiers qui le cite. Le blocage protège la collecte future, pas ce qui est déjà collecté.

Quelle configuration recommander selon votre situation ?

Trois profils couvrent la quasi-totalité des cas, et le choix se fait sur une question : votre contenu est-il un actif à protéger, ou un moyen d'être trouvé ?

Dans les trois cas, les robots de recherche restent autorisés. Les bloquer revient à refuser d'être trouvé, ce qui n'est presque jamais l'intention de départ de celui qui ajoute des règles à son robots.txt.

C'est le choix que nous appliquons à ce site : tout est ouvert, y compris aux robots d'entraînement, parce que l'objectif est la citation. Notre méthodologie l'explicite.

Le piège technique qui annule vos règles

Le protocole d'exclusion des robots fonctionne par groupe le plus spécifique. Dès qu'un groupe nomme explicitement un agent, celui-ci ignore entièrement le groupe générique User-agent: *, y compris ses directives Disallow.

Conséquence pratique : si votre fichier interdit /admin/ dans le groupe générique, puis ouvre un groupe dédié à GPTBot, GPTBot n'a plus aucune interdiction sur /admin/. Les règles doivent être répétées dans chaque groupe nommé, sans exception.

C'est une erreur silencieuse : rien ne la signale, et elle ne se voit qu'en testant chaque agent séparément. Elle est d'autant plus fréquente que les listes de blocage circulent en copier-coller, avec vingt groupes nommés et aucune règle recopiée.

Deuxième piège : bloquer une page dans robots.txt ne la désindexe pas. Le moteur cesse de la lire mais peut continuer à l'afficher s'il la connaît par ailleurs. Pour retirer une page, il faut la laisser explorable et y placer une directive noindex, comme le précise la documentation sur le blocage de l'indexation.

Comment vérifier que vos règles font ce que vous croyez ?

Trois vérifications, toutes gratuites, qui prennent une dizaine de minutes.

1. Lisez votre fichier à l'adresse votresite.fr/robots.txt. Le Web Almanac 2024 montre que 14,1% des sites mobiles répondent 404 sur cette adresse : dans ce cas, aucune règle ne s'applique, ce qui est parfois exactement ce que vous vouliez sans le savoir.
2. Testez agent par agent, pas globalement. Un outil de test de robots.txt vous dit si une URL donnée est autorisée pour un agent donné, et c'est le seul moyen de détecter le piège des groupes.
3. Vérifiez vos journaux serveur. Ils indiquent quels robots passent réellement, à quelle fréquence et sur quelles pages. C'est la seule preuve, et elle révèle souvent que l'agent que vous vouliez bloquer ne venait jamais, pendant que celui qui vous apportait des citations a disparu.

Notre diagnostic de citabilité par les IA place cette vérification en premier critère, parce qu'un blocage rend tous les autres efforts sans effet.

Et le fichier llms.txt dans tout ça ?

Il ne joue aucun rôle dans le contrôle d'accès. C'est la confusion la plus répandue sur le sujet : le fichier llms.txt n'autorise ni ne bloque aucun robot, et il ne remplace ni robots.txt ni un sitemap.

Il s'agit d'une convention proposée par la communauté, consistant à publier à la racine un fichier texte qui présente le contenu d'un site dans un format lisible par un modèle. Aucun grand éditeur de moteur de réponse n'a confirmé publiquement l'utiliser comme source.

Son coût de mise en place est faible et son risque nul, ce qui justifie de le publier s'il est généré automatiquement par votre chaîne de production, sans en attendre d'effet mesurable. Nous détaillons ce pari dans llms.txt, utile ou pas, et la fiche llms.txt du glossaire résume la position.

Conclusion

Bloquer un robot d'entraînement protège vos contenus futurs ; bloquer un robot de recherche vous retire des réponses. Ce sont deux décisions distinctes, prises trop souvent d'un seul geste. Dans la quasi-totalité des cas, la bonne configuration autorise tous les robots de recherche et n'arbitre que sur l'entraînement, selon que votre contenu est un actif à protéger ou un moyen d'être trouvé.

Vérifiez ensuite que vos règles font ce que vous croyez, agent par agent : le protocole ignore le groupe générique dès qu'un agent est nommé ailleurs. Notre diagnostic de citabilité commence par ce point.

Tester la citabilité de votre site

Questions fréquentes

Sources

• Introduction to robots.txt (Google Search Central)
• Overview of Google crawlers and fetchers (Google Search Central)
• Block Search indexing with noindex (Google Search Central)
• Web Almanac 2024, chapitre SEO (HTTP Archive)

Passer à la pratique

• Les outils SEO IA pour un SaaS
• L'avis Writesonic, orienté suivi de visibilité IA
• Sorank face à Writesonic sur la GEO