Les données de suivi de la visibilité de l’IA ne sont pas entièrement fiables. Étant donné que les modèles génératifs produisent souvent des réponses différentes, les partages de citations et les classements sur votre tableau de bord ne sont que des instantanés d’une cible en constante évolution, et non des faits figés.
Une différence entre vous et un concurrent peut être réelle ou simplement une fluctuation entre les mesures. Un nouvel article d’IQRush, dont la publication est prévue la semaine prochaine (nous avions un accès préliminaire) fournit une méthode pour les distinguer, montrant qu’aucune quantité fixe de données ne peut régler définitivement la question.
L’article est rédigé par Ron Sielinski, co-fondateur d’IQRush, qui vend des logiciels qui mesurent la visibilité de l’IA comme le prétend l’article. La raison pour laquelle cela vaut la peine est qu’une équipe distincte a publié un résultat similaire de mesures répétées en avril, donc IQRush n’est pas le seul à faire valoir ce point.
Dans quelle mesure ces chiffres bougent
Interroger à plusieurs reprises SearchGPT, Gemini ou Perplexity avec la même question peut produire des sources différentes à chaque fois. Ils sont conçus pour ajouter un peu de caractère aléatoire à chaque réponse, de sorte que chaque citation n’est qu’une des nombreuses URL possibles qu’elle aurait pu extraire. Un article antérieur du même auteur a exploré cette variabilité, montrant que, par exemple, lors du test de SearchGPT sur des trains de course, Tom’s Guide représentait environ 9,5 % des citations, tandis que Runner’s World représentait environ 6,0 %. Sur le tableau de bord, Tom’s Guide apparaissait plus souvent, mais la grande marge d’erreur entraînait un chevauchement des chiffres. Avec un seul échantillon, il n’était pas exact de dire que Tom’s Guide a surpassé Runner’s World, car la différence de 3,5 points se situait dans la marge d’erreur. Le nouveau document vise à éviter cette erreur en abordant une question simple mais souvent négligée : quelle quantité de données est nécessaire pour que les classements soient vraiment significatifs ?
Quand un classement mérite confiance
La réponse comporte deux parties, et les deux doivent être vraies pour qu’un classement soit fiable. Premièrement, l’ordre doit cesser de changer.
Au début, les classements peuvent changer fréquemment à mesure que de nouvelles réponses sont ajoutées, car aucun site n’a encore d’avantage clair. Ce n’est qu’après avoir collecté suffisamment de réponses que les meilleurs sites commencent à se démarquer clairement, permettant à l’ordre de se stabiliser. Il est également important que les meilleurs sites soient bien espacés ; s’ils sont très proches, le classement pourrait ne pas avoir de sens, car une compétition serrée ne montre pas vraiment qui est vraiment en avance. L’article examine si la différence entre les meilleurs sites est supérieure à la marge d’erreur de chacun. Lorsqu’il l’est, le classement reflète une réelle différence. Si ce n’est pas le cas, il s’agit probablement simplement d’un bruit statistique. Les deux conditions doivent être remplies en même temps, mais aucune d’entre elles n’est suffisante. Dans 30 tests de sujets de plateforme, le nombre de réponses nécessaires pour que les deux conditions soient remplies variait de 33 à 94, en ne comptant que les réponses avec citations.
Trois personnes sur 30 n’ont pas atteint ce point même après 125 questions, toutes sur SearchGPT, où les principaux sites étaient trop similaires pour être distingués. Il n’existe pas de seuil unique applicable partout ; ce qui fonctionne pour une plateforme et un sujet peut ne pas convenir à un autre.
Nous avons encerclé cela
En janvier, j’ai discuté de la découverte de SparkToro selon laquelle les outils d’IA donnent une liste différente de marques recommandées plus de 99 % du temps où vous posez la même question. Cet article laissait une question sans réponse : combien de fois faut-il poser la question avant que les résultats ne se stabilisent ? Cet article offre la réponse la plus claire que j’ai rencontrée.
Rand Fishkin, qui a dirigé cette étude, partage quelques conseils utiles. Avant de dépenser de l’argent pour suivre la visibilité de l’IA, il suggère de s’assurer que votre fournisseur « montre ses calculs ». Le document IQRush est un excellent moyen d’y parvenir car il fournit une règle d’arrêt simple, de sorte que vous n’avez pas à vous fier uniquement à votre intuition pour savoir combien d’exécutions sont suffisantes.
Cela correspond également à une série d’études couvertes par SEJ au cours de l’année écoulée, chacune rapportant les numéros de citation de l’IA comme s’ils étaient corrigés. Celui-ci se retourne, examine la mesure elle-même et se demande si ces chiffres sont suffisamment stables pour pouvoir être comparés en premier lieu.
Ce que cela change pour votre reporting
Le numéro sur votre tableau de bord n’est qu’un simple échantillon. Avant de lui faire confiance, vérifiez si votre tracker effectue la même vérification à plusieurs reprises et indique une plage, ou s’il extrait les données une seule fois et affiche un chiffre clair. Un chiffre propre peut en fait être un signe d’avertissement et non une assurance.
Un gain après un changement de contenu est facile à mal interpréter. Par exemple, une augmentation de trois points de votre part de citations SearchGPT peut sembler une preuve que vos efforts ont porté leurs fruits, mais un tel changement peut s’inscrire dans la variabilité naturelle des exécutions successives, selon les données de l’article original.
Pour remporter la victoire, mesurez avant et après plus d’une fois chacun. Une seule lecture avant et après ne peut pas séparer votre monnaie du bruit ordinaire.
La plate-forme que vous mesurez modifie la quantité de données dont vous avez besoin, et pas de la manière que vous pourriez deviner. Cela dépend de la quantité d’informations indépendantes contenues dans chaque réponse, et non du nombre de citations qu’elle vous remet. Gemini empile les citations sur la même poignée de sites dans une seule réponse, donc beaucoup de ces citations vous disent la même chose. SearchGPT donne moins de citations par réponse mais les répartit, de sorte que chaque réponse contient plus d’informations indépendantes que ne le suggère le nombre brut. Le même nombre de réponses sur deux moteurs n’achète pas la même confiance, et un budget qui règle Gemini peut laisser deviner sur SearchGPT.
Parfois, la réponse honnête est que vous ne pouvez pas encore le dire. Trois des 30 tests n’ont jamais clairement séparé leurs meilleurs sites dans le cadre du budget. Pour ceux-là, la bonne décision est de maintenir le classement, et non de publier un classement que les données ne peuvent pas soutenir. Un tracker qui peut vous dire « pas assez de données » vaut plus qu’un tracker qui imprime une commande confiante à chaque fois que vous le demandez.
Le haut du classement est la partie que vous pouvez le plus défendre. Avec suffisamment de réponses, les leaders s’éloignent du milieu et de la queue, même s’ils ne sont pas précis. Les marges d’erreur s’élargissent rapidement en dessous du front, jusqu’à ce que les positions voisines soient un jeu de pile ou face, et même les 10 premiers n’étaient pas impeccables, avec la marge d’erreur typique sur un site du top 10 étant d’environ cinq positions et une sur cinq plus large que 10. Faites confiance aux leaders, traitez le milieu et le bas comme approximatifs et ne signalez pas les positions exactes au-delà du début de la liste.
Ce que le document ne prouve pas
Rien de tout cela ne vient d’une étude terminée et évaluée par des pairs. Il s’agit d’une prépublication construite sur 30 tests de sujets de plate-forme sur trois moteurs, utilisant des questions générées par ChatGPT plutôt que des recherches d’utilisateurs réels, sur une seule partie de la collection. Les chiffres exacts ne seront pas transférés clairement à vos sujets, alors traitez-les comme la forme du problème, et non comme une table de recherche.
Ces décomptes n’incluent que les réponses contenant des citations, ce qui compte le plus sur SearchGPT, car une partie de ses questions ne renvoient aucune citation. Dans un sujet, 125 questions ont produit 104 réponses utilisables, soit un échec de 17 %, vous devrez donc soumettre plus de questions que ce que suggèrent ces totaux.
Le contrôle de la méthode est également interne. Le journal compare le classement qu’il a établi au début avec le classement final de cette même collection, et non avec une vérité terrain extérieure. Cela teste si la règle d’arrêt est cohérente avec elle-même, c’est pourquoi le résultat de correspondance de l’équipe non affiliée fait un réel travail ici. Les auteurs de cet article d’avril, Julius Schulte, Malte Bleeker et Philipp Kaufmann, sont des chercheurs de l’Université de Saint-Gall. Ils ont analysé un ensemble de données distinct et sont parvenus au même verdict, à savoir qu’une seule lecture n’est pas fiable et que vous devez échantillonner un moteur à plusieurs reprises pour faire confiance à ce qu’il vous dit.
Où cela va-t-il
Le journal ne répond pas à ce que la plupart des gens souhaitent, à savoir un moyen de connaître votre budget de fonctionnement avant de commencer à collecter. Sielinski laisse cela pour un travail ultérieur et note que le nombre dépend de la forme du modèle de citation de chaque plate-forme, donc un budget universel unique n’est probablement pas à venir.
Le changement le plus important est que les rapports de visibilité de l’IA évoluent dans la même direction que les rapports publicitaires et analytiques, vers des chiffres comportant une marge d’erreur au lieu d’un faux point décimal. Cela se produit alors que la plomberie de base fait toujours défaut, puisque la Search Console ne vous dira toujours pas quels clics proviennent de l’IA. En attendant, il vous incombe d’effectuer la vérification plus d’une fois et de signaler la plage, et non le numéro unique que votre tableau de bord vous donne.
