Le ratio d’exploration pour référence d’Anthropic a été rapporté comme étant de 70 900 pour un, 38 000 pour un, 23 951 pour un, 11 122 pour un, 10 300 pour un, 4 580 pour un et 2 237 pour un. Chacun de ces chiffres est attribué à Cloudflare. Chacun a été publié en 13 mois environ. Deux d’entre eux réclament le même mois et diffèrent d’environ un facteur 17.
Si l’exploration pour référence n’est pas un numéro que vous suivez, l’idée entière tient dans un paragraphe. Chaque entreprise d’IA exécute des robots d’exploration qui récupèrent les pages de votre site. Certaines de ces plateformes vous envoient également des visiteurs lorsqu’une personne lit une réponse et clique sur la source située en dessous. Le rapport compare les deux. Combien de pages une plateforme a pris, par rapport au nombre de personnes qu’elle a renvoyées. Cinq contre un signifie qu’il a récupéré cinq pages et renvoyé un visiteur. Soixante-dix mille contre un signifie qu’il en a récupéré soixante-dix mille et en a rendu un.
Il existe parce que l’ancien arrangement s’est rompu. Un robot de recherche a récupéré vos pages et vous a envoyé du trafic en retour, et ce commerce était la base économique de toute publication sur le Web ouvert. Les systèmes d’IA répondent sur place, de sorte que la prise s’est poursuivie et que le renvoi n’a pratiquement pas eu lieu. Le ratio est l’expression la plus claire de la façon dont cet échange est devenu déséquilibré, c’est pourquoi il s’est propagé rapidement, est apparu dans les tableaux de bord et a commencé à conduire à de véritables décisions quant aux robots qui franchiront la porte.
Il continue également de croître. Google a déclaré lors de sa conférence des développeurs en mai que le mode AI avait dépassé le milliard d’utilisateurs mensuels et que ses requêtes avaient « plus que doublé chaque trimestre depuis son lancement », présentées comme une histoire d’utilité plutôt que comme une question de savoir où ces réponses cessent d’envoyer les gens. Gardez ce deuxième chiffre à l’esprit. Un doublement chaque trimestre sans base indiquée est un taux de croissance que vous ne pouvez pas utiliser. C’est le même problème sur lequel porte cet article, à l’intérieur d’une annonce qui en fixe l’ampleur.
L’idée évidente du déséquilibre est que quelqu’un a été négligent ou que quelqu’un a tourné. Cette lecture est fausse et elle est plus confortable que ce qui s’est passé. Cloudflare a publié une métrique claire, a documenté la méthode dans son intégralité et a révélé ses propres limites dans le message qui la présentait. Les nombres sont toujours dispersés sur un ordre de grandeur, car un rapport est un numérateur sur un dénominateur, et celui-ci contient quatre dénominateurs empilés que presque personne ne reprend en citant le chiffre.
La méthode n’est pas là où ça se brise
La semaine dernière, j’ai écrit sur le contenu des fournisseurs en citant des sources qui se sont avérées inexistantes. Il s’agit de la version la plus difficile de ce même problème, et je veux être clair sur la différence dès le départ. Ici, chaque source est réelle, l’éditeur est crédible et la documentation est publique. L’échec s’est produit de toute façon.
Cloudflare a introduit le ratio crawl-to-refer en juillet 2025 et a clairement indiqué le calcul. Prenez le nombre total de requêtes des agents utilisateurs associés à une plate-forme donnée où la réponse était HTML. Divisez cela par le nombre total de demandes de contenu HTML où l’en-tête Referer contenait un nom d’hôte associé à cette plate-forme. Normaliser à une seule référence. C’est toute la formule, publiée, sans ambiguïté et reproductible par toute personne disposant des journaux du serveur.
Ils ont également publié les parties qui sous-cotaient leur propre mesure, ce qui est plus que ce que font la plupart des entreprises. Ce qui suit est ce qui arrive à un numéro bien construit après avoir quitté le bâtiment.
4 dénominateurs portant 1 manteau
Le premier dénominateur est la fenêtre. Dans le message de lancement de Cloudflare, la période d’échantillonnage était du 19 au 26 juin 2025, soit une semaine, et Anthropic est sorti à 70 900 contre un tandis que Mistral est sorti à 0,1 contre un, envoyant 10 références pour chaque demande d’exploration. Dans un article distinct du même mois, le chiffre de juin 2025 pour Anthropic est de 73 000 contre un, avec OpenAI à 1 700 contre un et Google explore environ 14 fois par référence. Même éditeur, même mois, fenêtres différentes, numéros différents. En aval, vous trouvez désormais des chiffres trimestriels, des chiffres mensuels, des chiffres glissants sur 28 jours et des chiffres sur une seule semaine qui circulent côte à côte comme s’il s’agissait de la même mesure.
Quelle est l’importance de la fenêtre ? Cloudflare a signalé que le ratio de Google avait augmenté de 19,4 % d’une semaine à l’autre, l’attribuant à une baisse de l’exploration de GoogleBot qui a commencé un jour spécifique. Une décision de planification de l’exploration a modifié le nombre publié d’un cinquième en sept jours. Deux analystes choisissant de bonne foi des fenêtres différentes produiront des réponses différentes et tous deux auront raison.
La seconde est le bot que vous avez compté. Cloudflare indique que le robot d’exploration de formation d’une plateforme et son robot d’exploration de requêtes utilisateur, fonctionnant sous différents agents utilisateurs, sont regroupés sous un seul nom de plateforme pour l’analyse. Ces deux comportements n’ont rien en commun. On consomme à grande échelle et, de par sa conception, ne renvoie rien. L’autre récupère à la demande et peut produire une citation. Globalement, la figure de la plate-forme ne décrit ni l’un ni l’autre. Cela rend également la comparaison standard avec Google structurellement erronée, car certains opérateurs gèrent des flottes de robots d’exploration réparties à des fins spécifiques et d’autres gèrent des flottes unifiées, de sorte que l’agrégat mesure un type d’objet différent de chaque côté.
Le troisième concerne les sites de qui. Cloudflare voit le trafic qui traverse Cloudflare. Il s’agit d’un échantillon énorme et toujours un échantillon, pondéré en fonction des propriétés qui se trouvent derrière lui. Lorsqu’un analyste mesurait la même mesure par rapport au réseau Cloudflare et à son propre panel commercial plus petit sur la même période, le ratio d’une plate-forme doublait à peu près. La composition du panneau à elle seule l’a déplacé.
Le 4ème est celui qui compte
Le dénominateur n’est pas les références. Ce sont des références qui se sont annoncées.
Un filleul n’entre dans le calcul que si la requête portait un en-tête Referer nommant la plateforme. Cloudflare indique directement que le trafic référencé par l’application native de Claude n’inclut pas cet en-tête, qu’il pense qu’il en va de même pour les applications natives d’autres fournisseurs et que, comme le décompte des références ne capture donc que les outils Web, les calculs peuvent surestimer les ratios. Leurs mots sur l’ampleur de cette distorsion : On ne sait pas exactement dans quelle mesure.
Relisez-le. La société qui publie la métrique a déclaré, dans le post l’annonçant, qu’il manque au dénominateur une quantité inconnue de ce qu’il est censé compter, sur des plateformes dont l’utilisation se fait de plus en plus précisément là où on ne compte pas. Ce n’est pas une note de bas de page. Il s’agit d’une déclaration selon laquelle la métrique comporte une barre d’erreur que personne ne peut mesurer, divulguée par la seule partie bien placée pour la connaître.
Une cinquième décision montre à quel point le jugement réside dans une formule simple. Cloudflare exclut le trafic de référence du propre réseau de Google, au motif que la prélecture pilotée par des règles de spéculation n’est pas une personne consommant du contenu. C’est défendable. C’est aussi un appel, et un autre analyste pourrait le faire différemment et produire un chiffre Google différent sans se tromper non plus.
Ce qui est dépouillé en descendant
Les mises en garde existaient donc, publiées en langage clair par la source au moment de la publication. Au moment où ces chiffres atteignent une diapositive dans une revue trimestrielle, aucun d’entre eux n’est joint.
Je ne nomme pas les analyses dont j’ai tiré ces sept chiffres. Le modèle compte, mais pas les éditeurs, et la plupart d’entre eux résumaient de bonne foi. Le mécanisme mérite d’être décrit, car il ne s’agit pas d’une fraude ni d’une véritable erreur. Chaque récit compresse. Le premier supprime la mise en garde relative à l’application native car elle complique le titre. La seconde supprime la fenêtre car le numéro est plus citable sans plage de dates attachée. Le troisième lit le deuxième, voit un chiffre clair avec une attribution crédible et le répète. A quatre pas de la source, vous disposez d’un simple entier, d’un nom d’entreprise et d’une confiance totale.
L’un de ces sept éléments comportait un avertissement explicite selon lequel les ratios sont liés à une fenêtre spécifique et ne doivent jamais être moyennés sur plusieurs périodes, et que les chiffres étaient à la fois réels et ni universels. Celui-là a fait correctement le travail. Il se trouve dans les mêmes résultats de recherche que ceux qui ne l’étaient pas, et semblent identiques.
Les décisions reposent déjà sur cela
Ce serait une plainte académique si le numéro était décoratif. Ce n’est pas. Les éditeurs utilisent des ratios d’exploration/référence pour décider quels robots d’exploration IA autoriser et lesquels bloquer, ce que Cloudflare a construit pour prendre en charge la métrique et pour une utilisation raisonnable de celle-ci. Les équipes marketing utilisent les mêmes chiffres pour affirmer que le trafic de référencement IA ne vaut pas la peine d’être poursuivi. Il est difficile de revenir sur ces deux décisions, car nous savons tous qu’une fois qu’une décision est prise, il est trop difficile d’en parler et de la faire réexaminer, pour diverses raisons.
Maintenant, comparez les quatre dénominateurs à cela. Si une grande partie des références d’une plateforme arrivent via une application native n’envoyant aucun en-tête Referer, le ratio surestime le déséquilibre d’un montant que personne n’a quantifié. Si la figure mélange un robot d’exploration de formation avec un robot d’exploration de requêtes utilisateur, vous bloquez peut-être celui qui aurait pu vous citer afin d’arrêter celui qui ne le ferait jamais. Si cela provenait d’une fenêtre où cet opérateur effectuait une formation intensive, vous établissez une politique semi-permanente à partir d’un pic temporaire.
L’écart devrait inciter quiconque à se montrer prudent lorsqu’il s’agit d’agir sur un seul chiffre. Au cours de la même semaine, une plate-forme mesurait près de 70 900 contre un ; un autre mesurait 0,1 pour un, envoyant 10 références pour chaque page demandée. Il ne s’agit pas d’une différence d’arrondi dans une catégorie. Ces ratios décrivent les décisions individuelles en matière de produits dans des entreprises individuelles à des moments précis, et traiter l’un d’entre eux comme une propriété stable d’une plateforme est une erreur de catégorie.
Ce que cela vous demande réellement
L’idée générale est inconfortable car elle s’applique bien au-delà des ratios d’exploration, et elle s’applique aux chiffres auxquels vous pensez peut-être actuellement.
Une figure sans sa fenêtre, son regroupement et sa limite de collection n’est pas une figure. C’est une forme qui y ressemble. Ces trois éléments ne constituent pas des réserves attachées au numéro ; c’est eux qui le construisent, et un nombre séparé d’eux n’a pas été simplifié. Il a été rendu inutilisable tout en semblant toujours utilisable, ce qui est pire que d’être manifestement faux, car des chiffres manifestement erronés sont contestés dans la salle.
Ce qui vous donne un test qui ne coûte rien et qui disqualifie rapidement. Lorsque quelqu’un vous remet une mesure, demandez quelle période elle couvre, ce qui a été regroupé pour la produire et où s’est arrêtée la collecte. Ce n’est pas difficile. Si ces trois réponses ne sont pas immédiatement disponibles, celui qui détient le numéro ne sait pas non plus ce que cela signifie, et vous êtes tous les deux sur le point de décider quelque chose en fonction de la force d’une forme.
J’étendrais cela à une catégorie entière. Nous sommes dans une situation où de nombreuses entreprises expédient des produits de mesure dans la visibilité de l’IA, et j’en fais partie, alors pesez cela en conséquence. Ceux qui valent votre argent vous indiqueront leur fenêtre, leur regroupement et leur limite sans qu’on vous le demande, comme l’a fait Cloudflare. Ceux qui ne le feront pas vous demandent de faire confiance à un numéro qu’ils n’ont pas défini. Cloudflare a divulgué les trois, et l’écosystème a quand même réussi à les perdre lors de la transmission. Un vendeur qui ne les divulgue jamais ne vous donne même pas quelque chose à perdre.
La question à résoudre n’est pas de savoir si un chiffre est exact. La plupart des chiffres contenus dans cet article sont exacts (pour autant que je puisse le déterminer). Il s’agit de savoir si vous savez quel nombre compte et lequel ne peut pas être.
Si vous avez rencontré une métrique dans cet espace qui s’est effondrée une fois que vous avez demandé ce qu’il y avait dans le dénominateur, laissez un commentaire ou contactez directement. J’aimerais en voir plus d’exemples, et les exemples spécifiques sont plus utiles que l’argument général.
Plus de ressources :
Cet article a été initialement publié sur Duane Forrester Decodes.
