Crawlers IA : les éditeurs verrouillent, les agences doivent suivre
Près de la moitié du trafic des sites de presse est automatisée, et Cloudflare bloque les crawlers IA dès le 15 septembre. Ce que ça change pour les plans médias.
Le web éditorial que les agences achètent tous les jours est en train de changer de nature, et pas du côté que l'on regarde habituellement. Pendant que le marché débat de la visibilité des marques dans les réponses génératives, une bascule plus discrète s'opère en amont : celle de l'accès aux contenus eux-mêmes.
La moitié du trafic éditorial n'est plus humaine
Le 7 juillet, le GESTE a lancé avec Botscorner et 255hex.ai un Observatoire de l'IA et des crawlers, construit sur l'analyse des logs de connexion fournis par les éditeurs participants. Le premier constat est brutal : près de la moitié du trafic observé sur les sites de presse est aujourd'hui généré par des acteurs automatisés.
Derrière les moteurs de recherche et les grands modèles identifiés se déploie un écosystème nettement plus opaque : scrapers anonymes, brokers d'adresses IP, plateformes de datasets, outils de veille, agents IA, places de marché de données. L'Observatoire pointe aussi la faillite des mécanismes historiques de gouvernance du web : seule une faible proportion des bots consultent le fichier robots.txt, et cette consultation ne préjuge en rien du respect des règles qui y sont écrites.
« Avant de pouvoir penser à des tarifs, négocier des licences, mettre en place des mécanismes de rémunération ou définir des stratégies de protection, les éditeurs doivent d'abord savoir qui collecte leurs contenus, par quels procédés, dans quelles quantités et pour quels usages », résume Yan Gilbert, fondateur de Botscorner.
Le 15 septembre, une porte se referme
La réponse technique arrive plus vite que la réponse réglementaire. Le 1er juillet, Cloudflare a annoncé qu'à partir du 15 septembre 2026, ses réglages par défaut bloqueront les crawlers dits « mixtes » — ceux qui mélangent indexation search, entraînement de modèles et usage agentique — sur toute page hébergeant de la publicité. La mesure s'applique aux nouveaux clients, aux nouveaux sites créés par des clients existants et à l'ensemble des comptes gratuits, sauf réglage contraire de l'éditeur.
Dans le même mouvement, le dispositif Pay Per Crawl devient Pay Per Use : l'éditeur n'est plus rémunéré quand un robot aspire sa page, mais quand son contenu crée de la valeur dans un service d'IA. Les premiers partenaires annoncés sont Ceramic.ai et You.com. « Maintenant que la majorité du trafic sur Internet est non humain, nous devons aller plus loin et agir plus vite pour qu'un écosystème soutenable puisse émerger », a justifié Matthew Prince, cofondateur et CEO de Cloudflare. La société avance par ailleurs que plus de la moitié du trafic de crawl IA est consacrée à re-télécharger des pages qui n'ont pas changé.
Le calendrier n'est pas neutre : Google a activé ses Aperçus IA et son Mode IA en France le 22 juillet. Les éditeurs français abordent donc la rentrée avec, d'un côté, une pression accrue sur leur trafic entrant, de l'autre, un levier inédit pour facturer l'accès à leurs archives.
Trois conséquences pour les acheteurs médias
Le contexte premium devient un actif à deux revenus. Un éditeur peut désormais arbitrer entre monétisation publicitaire et monétisation par licence. Cet arbitrage se répercutera sur ce qu'il ouvre en programmatique, à quel prix, et sur ce qu'il réserve à ses accords directs.
La qualité du trafic redevient une question contractuelle. Les standards de mesure excluent en principe le trafic invalide, mais quand l'automatisation atteint cette proportion, la frontière coûte plus cher à tenir. La question « quelle part de votre trafic est automatisée, et comment la qualifiez-vous ? » a sa place dans un appel d'offres, au même titre que le brand safety.
Le référencement d'un contenu de marque n'est plus garanti. Contenus de marque, articles sponsorisés, native : si l'hébergeur bloque par défaut les crawlers agentiques sur les pages publicitaires, la visibilité de ces dispositifs dans les réponses d'IA dépendra d'un réglage technique que l'annonceur ne maîtrise pas. Cela se négocie en amont, pas au bilan de campagne.
Aucune de ces questions ne figurait dans les briefs il y a un an. Elles y seront à la rentrée — et c'est précisément le type d'arbitrage sur lequel une agence média se juge aujourd'hui.