Cloudflare bloque par défaut les crawlers IA : un nouveau rapport de force

Mais ce n’est pas tout. La société californienne va plus loin en lançant un programme baptisé "Pay Per Crawl", qui introduit la possibilité pour les bots de payer pour accéder à certains contenus. Basé sur le code HTTP 402, ce système offre aux éditeurs un levier de monétisation inédit. Les entreprises d’IA devront désormais faire preuve de transparence et de responsabilité si elles veulent continuer à accéder aux données dont elles ont tant besoin.

Du côté des éditeurs, cette annonce est accueillie comme un soulagement. Condé Nast, Dotdash Meredith, Reddit, Pinterest ou encore le groupe USA Today saluent cette initiative, qu’ils considèrent comme une protection légitime contre l’exploitation silencieuse de leurs productions. Le PDG de Condé Nast, Roger Lynch, parle d’un "pas décisif vers une innovation durable fondée sur le partenariat".

Cette nouvelle approche soulève aussi des questions. L’intelligence artificielle a besoin d’énormes quantités de données pour apprendre et progresser. En restreignant l’accès, on risque de rendre ces données plus rares, plus chères, ou même biaisées si seuls certains types de contenus sont disponibles. Le défi sera donc d’inventer un équilibre entre ouverture, rémunération et innovation.

Pour Cloudflare, la solution passe par plus de transparence. Des outils sont en cours de développement pour mieux identifier les bots, catégoriser leurs usages (entraînement, recherche, réponse directe) et permettre aux éditeurs d’agir en connaissance de cause. L’ambition est claire : bâtir un web où l’IA ne progresse plus au détriment des créateurs, mais grâce à eux.