InternetActualité
Cloudflare aide ChatGPT à découvrir de nouvelles pages
Selon Cloudflare et OpenAI, des signaux du réseau de Cloudflare ont fait découvrir à ChatGPT des centaines de millions de pages depuis juillet. Seules des informations sur ces pages seraient transmises ; les sites participants ne sont pas nommés.
La notice d’un lave-linge précis, les pièces à fournir pour un passeport, la carte et les horaires d’un restaurant du quartier : ce sont ces pages, peu citées par d’autres sites et donc difficiles à trouver pour un moteur de recherche, que Cloudflare et OpenAI disent avoir fait entrer dans l’index de ChatGPT. Dans un billet commun publié le 15 octobre, les deux entreprises présentent les premiers résultats d’un « pilote de recherche » lancé en juillet : un essai mené avec une « cohorte participante d’environ 1 % du réseau total de Cloudflare » a permis à OpenAI de « découvrir et d’indexer des centaines de millions de nouvelles pages web ». Ce chiffre est le leur ; aucune mesure indépendante ne le recoupe.
Un intermédiaire qui voit passer un cinquième du Web
Cloudflare n’héberge pas les sites au sens strict : il se place entre eux et leurs visiteurs. Un site qui en est client fait passer son trafic par les serveurs de l’entreprise, répartis dans le monde, qui le protègent des attaques et l’accélèrent. Cloudflare affirme que « plus de 20 % du Web » repose sur son réseau, ce qui lui donne, dit-il, une vue en temps réel sur les changements de contenu et les flux de trafic : quelles pages apparaissent, lesquelles changent, lesquelles n’existent plus.
Un moteur de recherche, lui, découvre le Web avec un robot d’indexation (crawler), un programme qui visite les pages, suit leurs liens et les télécharge pour les classer. Une page vers laquelle personne ne pointe lui échappe longtemps ; une page inchangée qu’il revisite sans cesse lui coûte, ainsi qu’au site, pour rien. Le pilote consiste à mettre les observations de Cloudflare au service du robot de recherche d’OpenAI : Cloudflare signale des pages, OpenAI « évalue et classe ensuite de manière indépendante » la façon dont elles apparaissent dans ChatGPT, selon leur pertinence.
Ce qui circule entre les deux entreprises
Le billet décrit trois familles de signaux, sans en donner le format technique :
| Signal | Ce que disent Cloudflare et OpenAI |
|---|---|
| Pages nouvelles ou modifiées | Des « signaux de changement » indiquent au robot « quand une page vaut une nouvelle visite, et quand ce n’est pas le cas ». |
| Adresses trompeuses | Le réseau repère des adresses qui semblent actives sans l’être : des robots qui réclament « sans cesse des fichiers qui n’existent pas », des sites qui renvoient presque n’importe quelle adresse vers leur page d’accueil, des copies d’un même contenu. Le robot évite de les télécharger. |
| Pages malveillantes | Encore « en test » : signaler une seule page piégée, comme un faux formulaire de connexion déposé par un pirate, plutôt que tout le domaine. Les « premiers résultats » suggèrent que ces signaux aident à écarter des pages d’un index. |
Ce qui, selon les deux entreprises, ne circule pas : le contenu des pages. La recherche utilise « des métadonnées sur le Web pour la recherche et la découverte, au lieu de partager le contenu des pages pour l’entraînement de modèles ». Autrement dit, des informations sur les pages (elles existent, elles ont changé, elles sont suspectes), et non leur texte, réservées à la recherche et non à l’entraînement de modèles comme GPT. Le billet ajoute une phrase qui compte pour les éditeurs : « Un signal sur une page ne vaut pas permission d’y accéder. » Le signal ne remplace donc pas l’autorisation du site.
Le communiqué de juillet mentionnait un quatrième ingrédient, la « qualité du trafic », sans le définir. Ni ce texte ni le billet d’octobre ne disent si des informations sur les visiteurs humains des sites entrent dans ces signaux, même sous forme agrégée.
Les deux entreprises reconnaissent un effet de bord : trouver de nouvelles pages « peut dans un premier temps augmenter l’exploration », le temps qu’elles soient évaluées et indexées. La baisse de charge promise aux sites vient ensuite, quand le robot cesse de revisiter des pages inchangées. Cloudflare avançait en juillet que plus de 50 % du trafic des robots d’IA servait à retélécharger des pages qui n’avaient pas changé. Ce poids des robots sur les sites est devenu un sujet en soi : la fondation Wikimedia a récemment attribué à des agents d’OpenAI un trafic qui a pu contribuer à une panne de Wikidata (notre article).
Des sites participants jamais nommés
La question la plus simple reste sans réponse publique : quels sites forment ce « 1 % » ? Le billet ne dit pas si ce pourcentage compte des sites, des domaines ou une part du trafic, ni comment cette cohorte a été constituée. Le communiqué de juillet parlait de « sites web participants » ; le site spécialisé PPC Land relevait déjà à l’époque qu’il ne nommait ni ces sites, ni leur nombre, ni les garde-fous appliqués, et n’annonçait aucune contrepartie pour les éditeurs. Trois mois plus tard, le billet de résultats ne comble aucun de ces manques.
Il ne dit pas davantage si les propriétaires de ces sites ont donné leur accord un par un, ni s’ils peuvent sortir de l’essai. Il assure que « les choix des propriétaires de domaines comptent tout au long » du projet et renvoie vers AI Crawl Control, l’outil de Cloudflare, disponible pour toutes les formules, qui permet de voir quels robots d’IA visitent un site, de les autoriser ou de les bloquer. La documentation de cet outil, consultée le 16 octobre, ne mentionne ni le pilote ni un réglage pour exclure ses pages des signaux transmis.
Ce qu’un éditeur peut faire est donc ailleurs : refuser l’accès au robot lui-même. OpenAI documente un robot de recherche, OAI-SearchBot, qui sert à faire apparaître des sites dans les résultats de ChatGPT, distinct de GPTBot, chargé de collecter des textes pour l’entraînement. Tous deux se bloquent dans le fichier robots.txt, la liste de consignes qu’un site adresse aux robots, ou avec AI Crawl Control pour un client de Cloudflare. Le choix a un prix : OpenAI recommande d’autoriser OAI-SearchBot « pour aider à garantir que votre site apparaisse dans les résultats de recherche ».
Le défenseur des éditeurs devient fournisseur des moteurs
Ce partenariat surprend venant de Cloudflare, qui s’est posé depuis plus d’un an en rempart des éditeurs face aux robots d’IA. Le 1er juillet 2025, l’entreprise annonçait que tout nouveau domaine inscrit chez elle se verrait demander s’il voulait autoriser les robots d’IA, la réponse par défaut étant non, et lançait le paiement à l’exploration (pay per crawl) : le site fixe un prix, et le robot qui ne paie pas reçoit une réponse « 402 Payment Required ». Matthew Prince, son patron, accusait alors les entreprises d’IA de prendre sans rendre : avec OpenAI, écrivait-il, il est « 750 fois plus difficile d’obtenir du trafic qu’avec le Google d’autrefois » (billet du 1er juillet 2025).
La contradiction n’est qu’apparente, et c’est ce qui rend l’essai instructif. Cloudflare trie désormais les robots par usage. Il annonçait le 1er juillet 2026 qu’à partir du 15 septembre, pour les nouveaux domaines inscrits chez lui, ses réglages par défaut bloqueraient les robots d’entraînement et les agents sur les pages qui affichent de la publicité, tandis que « la recherche reste autorisée par défaut ». Le pilote avec OpenAI se loge exactement dans cette case : de la recherche, qui renvoie des lecteurs vers les sites par des liens, et non de l’entraînement. Le même jour, Cloudflare annonçait que son paiement à l’exploration deviendrait un paiement à l’usage (Pay Per Use), pour que les éditeurs soient payés « quand leur contenu crée réellement de la valeur, pas seulement quand il est récupéré ».
Reste le déplacement de pouvoir. En vendant ou en offrant ce qu’il est seul à voir à cette échelle, l’intermédiaire ne se contente plus d’arbitrer entre sites et robots : il devient une source de découverte pour un moteur concurrent de Google. Les conditions financières entre Cloudflare et OpenAI, s’il y en a, ne sont pas publiques. Le service ne devrait pas rester réservé à OpenAI : Cloudflare disait en juillet tester ces signaux « avec de grandes entreprises d’IA » et prévoir de les rendre « largement disponibles plus tard cette année », sans calendrier précis ni nom d’autre partenaire.
La suite : mesurer ce que rapporte une page découverte
Les deux entreprises annoncent une deuxième phase : mieux choisir les pages signalées, tester des signaux de changement « plus rapides et plus fiables » et « mesurer ce qui se passe une fois le contenu découvert ». Cloudflare dit vouloir comprendre avec OpenAI comment une meilleure découverte se traduit en « résultats commerciaux réels » pour les sites. C’est le seul critère qui intéresse vraiment un éditeur, et le billet n’en donne encore aucune mesure : combien de visites ChatGPT a renvoyées vers les centaines de millions de pages nouvellement indexées, il ne le dit pas.
Les citations de Cloudflare et d’OpenAI sont traduites de l’anglais par la rédaction.
Les agents qui préparent les articles de L’Octet s’appuient sur un modèle d’Anthropic, entreprise concurrente d’OpenAI.
