Il existe un rapport selon lequel le blocage des robots de formation d’IA avec Cloudflare empêche également Googlebot et Bingbot légitimes d’indexer un site Web. Cloudflare a récemment annoncé que cela se produirait à partir de septembre. On ne sait pas s’il s’agit d’un hasard ou d’une erreur de l’utilisateur, mais cela sert de rappel pour être conscient du changement en cours et ajuster les paramètres en conséquence.
Redditor affirme que Cloudflare a bloqué Googlebot
Un utilisateur de Reddit de la communauté r/SEO a demandé si quelqu’un d’autre avait vu Cloudflare bloquer Googlebot en tant que formateur en IA.
Ils ont demandé :
« Quelqu’un d’autre a-t-il rencontré Cloudflare AI Crawlers bloquant Googlebot/Bingbot ?
Je teste la nouvelle fonctionnalité AI Crawlers & Scrapers de Cloudflare et j’ai remarqué quelque chose d’inattendu.Lorsque je définis AI Training = Block, Googlebot et Bingbot commencent à recevoir des réponses HTTP 403 lorsque j’essaie de récupérer mon plan de site. Dès que je désactive le bloc AI Training, le plan du site est à nouveau accessible.
D’après ce que j’ai compris, Cloudflare classe désormais Googlebot et Bingbot comme robots « Recherche + Formation », donc l’activation du bloc de formation semble les affecter également.
Cela me laisse face à un dilemme :
- Autoriser AI Training afin que les moteurs de recherche puissent accéder à mon plan de site.
- Bloquez la formation IA et risquez que Google/Bing reçoive des 403.
Quelqu’un a-t-il trouvé une solution de contournement propre ? »
John Mueller de Google a répondu pour demander à un DM d’examiner de plus près. Un autre Redditor a demandé si Cloudflare bloquait peut-être les robots malveillants qui usurpaient l’agent utilisateur de Googlebot.
L’affiche originale a répondu que ce n’était pas le cas et a offert plus d’informations :
« Je comprends que Cloudflare bloque les faux Googlebots, mais dans mon cas, je fais référence à ce que Cloudflare lui-même affiche dans le tableau de bord.
Lorsque j’active le mode Bot Fight, le téléchargement de mon plan de site renvoie une erreur 403. Dès que je le désactive, le 403 disparaît.
De plus, dans la section AI Crawlers, Cloudflare affiche Googlebot et Bingbot comme étant automatiquement bloqués. C’est pourquoi je me demande si le mode Bot Fight interfère avec les robots d’exploration légitimes ou si le tableau de bord signale autre chose.
Documentation officielle de Cloudflare
Dans son annonce officielle, il est indiqué qu’à partir du 15 septembre, Cloudflare commencera à bloquer les robots à usage mixte, qui sont des robots comme Googlebot qui indexent simultanément des sites Web pour la recherche et la collecte de données en formation à l’IA. L’effet est que Cloudflare bloquera Googlebot.
L’annonce de Cloudflare explique :
« Le 15 septembre 2026, Cloudflare définira des paramètres par défaut mis à jour pour les nouveaux domaines : les robots classés comme Formation ou Agent seront bloqués sur les pages qui affichent des publicités, et la recherche restera autorisée.
Les robots d’exploration à usage mixte qui combinent recherche et formation seront également bloqués par toutes les configurations pour bloquer la formation de l’IA, y compris l’ancienne option « Bloquer les robots IA ». Avant le 15 septembre, tous les clients peuvent se désinscrire de ces nouveaux paramètres par défaut.
Ce type de blocage est censé entrer en vigueur en septembre, il est donc curieux que quelqu’un signale que cela se produit actuellement.
