Zahir Hasan n’a pas eu besoin de me dire que les chiffres de son entreprise étaient erronés.
J’avais envoyé à Hasan, COO de la société de recherche Clovion AI basée à Oslo, une liste de questions méthodologiques sur « Survivre à l’entonnoir de l’IA », la nouvelle étude de Clovion sur la façon dont Claude, ChatGPT et Gemini recommandent des marques au cours d’une conversation. La dixième question était une question de routine, le genre de chose que l’on pose à chaque équipe de recherche. Le rapport indique que les trois assistants IA se contredisent catégoriquement sur les faits relatifs à la marque dans 15 % des cas, sur la base de 33 contradictions vérifiées. Est-ce que 33 était vraiment suffisant pour étayer une affirmation selon laquelle le modèle a tendance à sous-vendre les caractéristiques d’une marque et lequel a tendance à les vendre trop ?
La réponse de Hasan n’était pas une défense du numéro. C’était une correction. « Le nombre réel est de 330 », a-t-il répondu. « Un concepteur a laissé un zéro dans la mise en page. » La même décimale glissée, a-t-il dit, avait également transformé 2 040 marques en « 204 » à la page sept du PDF qui m’avait été envoyé avant sa publication. Une version révisée sort cette semaine. J’ai donc d’abord obtenu les chiffres corrigés.
C’est une étrange façon de commencer une chronique sur un rapport de recherche sur l’IA, en admettant avant toute chose que le projet de rapport contenait une erreur. Mais c’est la manière la plus honnête d’entrer en scène, car la correction dit quelque chose que les principales statistiques de l’étude ne pourraient jamais dire. Lire correctement les réponses de l’IA, que vous soyez un spécialiste du marketing essayant de déterminer si ChatGPT recommande votre produit ou un chercheur élaborant une étude à ce sujet, revient à saisir la virgule décimale avant d’élaborer une stratégie dessus.
L’entonnoir, récapitulé
Mettez de côté la faute de frappe pendant un moment et la recherche sous-jacente tient le coup. Clovion a mené 69 120 conversations à plusieurs tours avec les trois assistants dans 36 catégories de logiciels B2B et fintech, posant une question d’ouverture comme « les meilleurs outils CRM ? puis un seul suivi réaliste. En posant à nouveau la même question, 90 % de la liste recommandée a été préservée. En ajoutant un détail d’acheteur ordinaire, quelque chose d’aussi simple que « pour une petite équipe », on n’en conservait que 28 %. Soixante-deux pour cent des marques ayant répondu à la première réponse ont disparu à la suite de la seconde.
J’ai demandé à Hasan si la « petite équipe » avait été sélectionnée pour produire cette goutte. Ce n’était pas le cas. Son équipe a également testé « pour une grande entreprise » et a obtenu un taux de désabonnement presque identique, environ 72 % dans les deux cas, contre environ 10 % lorsque la question était simplement répétée. La liste n’est pas instable. C’est réactif, et surtout si le modèle a décidé à qui s’adresse réellement une marque.
C’est la partie qui vaut la peine d’être abordée si vous faites du référencement ou de la stratégie de marque pour gagner votre vie. Être nommé dans une réponse de l’IA n’est pas la même chose que recevoir la confiance de celle-ci. Un modèle qui vous place dans sa première liste CRM peut toujours vous supprimer dès qu’un acheteur devient précis, et les données de Clovion indiquent que cela se produit la plupart du temps, pas de temps en temps.
La correction change la forme du nombre le plus petit et le plus cité
C’est ici que la décimale fixe est réellement importante pour la façon dont vous devriez lire cette étude. L’ancien chiffre, 33 contradictions vérifiées, était suffisamment petit pour que toute affirmation par modèle fondée sur ce chiffre repose sur de la glace mince. Corrigé, il s’agit de 330, et la répartition par modèle partagée par Hasan est bien plus révélatrice que le chiffre global de 15 % auquel aboutit le projet de rapport : Claude sous-affirme les caractéristiques propres d’une marque 160 fois contre 10 suraffirmations. ChatGPT sous-tend 70 fois et ne sur-prétend jamais. Les Gémeaux vont dans l’autre sens, réclamant 80 fois trop contre 30 réclamations insuffisantes.
La théorie de travail de Hasan, tirée d’une étude Clovion distincte, non encore publiée, sur la provenance de chaque modèle pour ses réponses, est que Gemini s’appuie davantage sur le matériel marketing et la vidéo, de sorte qu’il a tendance à attribuer à une marque tout ce qu’elle fait valoir. Claude et ChatGPT s’appuient davantage sur la documentation et les pages de produits, décrivent le produit principal avec précision et se prémunissent contre « ne l’a pas » lorsqu’une fonctionnalité plus récente n’est pas bien documentée. Si cela tient le coup dans l’étude que Clovion n’a pas encore publiée, cela signifie que la direction de l’erreur d’un assistant IA concernant votre produit dépend du type de contenu que vous avez placé devant celui-ci et de l’endroit où ce contenu se trouve.
J’ai passé plus de 20 ans à expliquer à mes clients qu’un bon classement et une description précise sont deux problèmes différents. C’est la preuve la plus claire que j’ai vue qu’il s’agit désormais du même problème, se déroulant au sein d’une seule conversation, et que la solution dépend de l’assistant qui fait la description erronée.
Pourquoi personne n’attrape le zéro manquant
Frederick Vallaeys a une histoire dans son livre « The AI-Amplified Marketer » qui explique exactement pourquoi une décimale supprimée survit jusqu’à la publication. Un rapport automatisé a un jour signalé « excellentes performances » sur un mot-clé, car son coût par acquisition était beaucoup plus élevé que l’objectif. Quelque part dans le système, un CPA élevé a été remplacé par un bon, alors qu’un CPA élevé est une mauvaise nouvelle et non une bonne nouvelle. Quiconque aurait parcouru le résumé aurait hoché la tête, car la phrase se lisait sans problème même si son sens avait été inversé.
Vallaeys relie cela à la recherche sur le traitement prédictif, l’idée selon laquelle les lecteurs fluides ne décodent pas chaque mot, ils prédisent ce qui va suivre en fonction du contexte et passent à autre chose. C’est ainsi que « te » se lit lorsque « le » et un « non » manquant glisse juste devant vous. Comme le dit Vallaeys, notre modèle mental de la phrase l’emporte sur le texte devant nous. Un PDF fiable et bien formaté est l’endroit au monde le plus simple pour que cela se produise, et un zéro supprimé dans un fichier de mise en page est une version beaucoup plus petite et beaucoup plus pardonnable du même échec.
C’est également la raison pour laquelle le correctif ne consiste pas à « faire moins confiance au rapport ». Il s’agit de « garder un pilote humain au courant qui vérifie le numéro au lieu de l’ambiance du paragraphe qui l’entoure ». Trente-trois contradictions et 330 contradictions ne diffèrent pas seulement par un facteur dix. Ils prennent en charge des niveaux de confiance totalement différents quant à la réalité d’un modèle par modèle. Deux cent quatre marques et 2 040 marques ne constituent pas la même étude. Si Clovion ne l’avait pas compris, et si je ne l’avais pas demandé, les chiffres les plus petits et les plus fragiles auraient continué à circuler comme des faits, cités exactement par le genre de presse spécialisée qui est censée détecter cela.
Ce que Clovion ne prétend pas et pourquoi c’est la partie la plus honnête
Le rapport prend soin de préciser que le lien entre la façon dont un modèle perçoit votre adéquation et s’il vous recommande est « un couplage fort et cohérent, et non une loi causale prouvée ». J’ai poussé Hasan sur ce à quoi ressemblerait un véritable test causal. Sa réponse : changer une chose, le contenu du positionnement public d’une marque, laisser tout le reste tranquille et voir si le comportement des mannequins évolue par rapport aux marques auxquelles personne n’a touché. Clovion n’a pas encore effectué ce test. Il a également concédé directement la possibilité plus inconfortable, selon laquelle le positionnement réel d’une marque dans le monde réel détermine probablement à la fois la façon dont le modèle la décrit et si elle est recommandée, ce qui ferait du positionnement du levier réel et de la « perception » du modèle simplement un symptôme, pas une cause.
C’est une réponse inhabituellement franche de la part d’une entreprise vendant la surveillance de la visibilité de l’IA, et c’est exactement pourquoi je fais confiance au reste de ce que Hasan m’a dit. Il ne disposait pas non plus de données sur la rapidité avec laquelle la perception d’une marque par l’IA change après que cette marque ait modifié son propre contenu. « Nous n’avons pas fait de test avant et après », a-t-il déclaré. « Considérez que cela vaut la peine d’être testé, non garanti dans X semaines. » Quiconque vous dit qu’il peut promettre un calendrier précis pour faire évoluer l’opinion de Claude ou des Gémeaux sur votre marque est en train de deviner, de l’aveu même de Clovion.
Que faire réellement à ce sujet
Il y a trois choses que vous devriez faire, en fonction de ce que Hasan m’a dit et de ce que soutiennent les données corrigées.
Tout d’abord, suivez toute la conversation, pas la première réponse. Si vous surveillez la visibilité de l’IA avec une vérification à une seule invite, vous mesurez le haut d’un entonnoir qui perd 62 % de son contenu une phrase plus tard. Construisez votre surveillance autour des questions de suivi que vos vrais acheteurs posent réellement.
Deuxièmement, fixez les assistants un par un, dans l’ordre. Hasan a clairement indiqué qu’un seul changement de contenu ne déplacerait pas les trois modèles en même temps, car ils proviennent de sources différentes. Son ordre suggéré : corrigez d’abord les erreurs factuelles plates, car ce sont des gains bon marché, puis recherchez les combinaisons d’ajustement de segment qui comptent le plus pour votre pipeline, en vérifiant chaque assistant sur plusieurs exécutions plutôt que de faire confiance à une seule réponse.
Troisièmement, ne citez pas une statistique dont vous n’avez pas retracé la source, y compris celle-ci. Le propre rapport de Clovion avait besoin d’une correction sur son chiffre le plus technique et le plus cité. Avant de créer une colonne, une présentation client ou un résumé de contenu autour d’un pourcentage de recherche sur l’IA, demandez d’où vient le décompte sous-jacent et si quelqu’un a vérifié les calculs depuis qu’ils ont quitté le logiciel de conception.
J’ai vu le référencement traverser quelques-uns de ces moments, de Panda à l’indexation axée sur le mobile en passant par la lente purge de la recherche sans clic. Chacun a récompensé les pratiquants qui ont vérifié la source principale au lieu de répéter le numéro du titre. La visibilité de l’IA évolue de la même manière. Les marques qui remporteront l’acte de disparition documenté par Clovion ne seront pas celles qui auront le meilleur communiqué de presse sur leur stratégie AI Overviews. Ce seront eux qui liront le rapport suffisamment attentivement pour se demander ce que signifie réellement un « 33 », et qui continueront à poser cette question après celui-ci.
Zahir Hasan est COO de Clovion AI, basé à Oslo, en Norvège. La version corrigée de « Surviving the AI Funnel » de Clovion, reflétant les chiffres de cette chronique, est attendue cette semaine.
