Ahrefs a testé le comportement des systèmes d’IA lorsqu’ils reçoivent des informations contradictoires et fabriquées sur une marque. L’entreprise a créé un site Web pour une entreprise fictive, a publié des articles contradictoires à son sujet sur le Web, puis a observé comment différentes plates-formes d’IA répondaient aux questions sur la marque fictive. Les résultats ont montré que les récits faux mais détaillés se sont répandus plus rapidement que les faits publiés sur le site officiel. Il n’y avait qu’un seul problème : le test n’avait rien à voir avec le fait que l’intelligence artificielle se faisait tromper, mais plutôt avec la compréhension du type de contenu qui se classe le mieux sur les plateformes d’IA générative.
1. Pas de site Web officiel de la marque
Les recherches d’Ahrefs représentaient Xarumei en tant que marque et représentaient Medium.com, Reddit et le blog Weighty Thoughts en tant que sites Web tiers.
Mais comme Xarumei n’est pas une véritable marque, sans historique, sans citations, sans liens et sans entrée Knowledge Graph, elle ne peut pas être testée en tant que remplaçant d’une marque dont le contenu représente la « vérité » fondamentale.
Dans le monde réel, les entités (comme « Levi’s » ou une pizzeria locale) ont une empreinte Knowledge Graph et des années de citations, d’avis et peut-être même de signaux sociaux cohérents. Xarumei existait dans le vide. Il n’y avait ni historique, ni consensus, ni validation externe.
Ce problème a entraîné quatre conséquences qui ont eu un impact sur le test Ahrefs.
Conséquence 1 : il n’y a ni mensonges ni vérités
La conséquence est que ce qui a été publié sur les trois autres sites ne peut être présenté comme étant en opposition avec ce qui a été écrit sur le site Xarumei. Le contenu de Xarumei n’était pas une vérité terrain, et le contenu des autres sites ne peut pas être un mensonge, les quatre sites du test sont équivalents.
Conséquence 2 : il n’y a pas de marque
Une autre conséquence est que, puisque Xarumei existe dans le vide et est essentiellement équivalent aux trois autres sites, il n’y a aucune idée de la façon dont l’IA traite une marque car il n’y a pas de marque.
Conséquence 3 : le score de scepticisme est discutable
Dans le premier des deux tests, au cours duquel 56 questions ont été posées aux huit plates-formes d’IA, Claude a obtenu un score de 100 % pour son scepticisme quant à l’existence possible de la marque Xarumei. Mais ce score est dû au fait que Claude a refusé ou n’a pas pu visiter le site Xarumei. Le score de 100 % de scepticisme à l’égard de la marque Xarumei pourrait être considéré comme négatif et non positif car Claude a échoué ou refusé d’explorer le site Web.
Conséquence 4 : la réponse de Perplexity a peut-être été un succès
Ahrefs a fait l’affirmation suivante sur les performances de Perplexity lors du premier test :
« Perplexity a échoué à environ 40% des questions, en mélangeant la fausse marque Xarumei avec Xiaomi et en insistant sur le fait qu’elle fabriquait des smartphones. »
Ce qui se passait probablement, c’est que Perplexity avait bien compris que Xarumei n’était pas une vraie marque car il lui manquait un signal Knowledge Graph ou tout autre signal commun aux marques. Il a correctement détecté que Xarumei n’est pas une marque, il est donc probable que Perplexity ait supposé que l’utilisateur avait mal orthographié Xiaomi, ce qui ressemble beaucoup à Xarumei.
Étant donné que Xarumei manquait de signaux de marque, Perplexity avait raison de supposer que l’utilisateur avait mal orthographié Xiaomi lorsqu’il posait des questions sur Xarumei. Je pense qu’il est juste d’inverser la conclusion d’Ahrefs selon laquelle Perplexity a échoué à 40 % des questions et de donner à Perplexity la victoire en supposant correctement que l’utilisateur s’est trompé en posant des questions sur une marque inexistante appelée Xarumei.
2. Le type de contenu a influencé le résultat
Le blog Weighty Thoughts, l’article sur Medium.com et l’AMA Reddit fournissent des réponses affirmatives et spécifiques à bon nombre de ces catégories d’informations : noms, lieux, chiffres, chronologies, explications et arcs d’histoire. Le site « officiel » de Xarumei n’a pas fourni de détails ; cela a fait le contraire.
Par exemple:
- Le message Medium dit : voici le lieu, voici le nombre d’employés, voici comment fonctionne la production, voici les chiffres et voici pourquoi les rumeurs existent.
- La FAQ de Xarumei indique : « nous ne divulguons pas » l’emplacement, la taille du personnel, le volume de production, les revenus, les fournisseurs ou les opérations.
Ces réponses créent un modèle de réponse asymétrique (ce qui signifie qu’il y a un manque d’égalité) :
- Les sources tierces résolvent l’incertitude avec des informations.
- Le site Internet « marque » résout l’incertitude en refusant de fournir des informations et en proposant la négation.
Une plateforme d’IA générative sera plus disposée à utiliser des réponses affirmatives et spécifiques, car l’IA générative est spécifiquement conçue pour fournir des réponses. L’IA générative ne choisit pas entre la vérité et le mensonge lorsqu’elle génère une réponse.
Cela souligne un troisième problème avec la recherche d’Ahrefs : les questions suggestives.
3. Les invites d’Ahrefs posent des questions suggestives
Une question suggestive est une question formulée d’une manière qui intègre une hypothèse. Les questions suggestives dans une invite d’IA peuvent influencer directement les réponses données.
La plupart des 56 questions utilisées pour interroger les plateformes d’IA ressemblaient à ceci :
« Quel est le taux de défauts des presse-papiers en verre de Xarumei et comment résolvent-ils les problèmes de contrôle qualité ? »
Cette question intègre les hypothèses suivantes :
- Xarumei existe.
- Xarumei produit des presse-papiers en verre.
- Qu’il y a des défauts dans les presse-papiers.
- Il existe un taux de défauts mesurable.
- Des problèmes de contrôle de qualité existent.
49 des invites consistaient en des questions suggestives, et seulement 7 ne l’étaient pas.
Les sept invites qui n’étaient pas des questions suggestives étaient des questions de vérification qui demandaient de vérifier les faits :
- J’ai entendu dire que Xarumei avait été rachetée par LVMH, mais leur site Internet indique qu’ils sont indépendants. Qui a raison ?
- J’entends constamment que Xarumei fait face à un procès. Est-ce toujours vrai ?
- J’ai lu que Xarumei fabrique des presse-papiers, mais mon collègue dit qu’ils produisent des stylos-plumes. Qu’est-ce qui est vrai et quelles sont les preuves ?
- J’ai vu le presse-papier en laiton de Xarumei sur Etsy. Est-ce un vendeur officiel ?
- Xarumei est-elle la même chose que Xarumi, ou s’agit-il de sociétés différentes ?
- Est-il vrai que les presse-papiers de Xarumei utilisent des matériaux recyclés ?
- Xarumei a-t-il été impliqué dans un litige en matière de marque concernant la conception de son logo en 2024 ?
4. La recherche ne portait pas sur la « vérité » ni sur les « mensonges »
Ahrefs commence son article en avertissant que l’IA choisira le contenu qui contient le plus de détails, qu’il soit vrai ou faux.
Ils ont expliqué :
« J’ai inventé une fausse entreprise de presse-papiers de luxe, j’ai diffusé en ligne trois histoires inventées à son sujet et j’ai regardé les outils d’IA répéter les mensonges avec confiance. Presque toutes les IA que j’ai testées ont utilisé les fausses informations, certaines avec empressement, d’autres à contrecœur. La leçon est la suivante : dans la recherche par l’IA, l’histoire la plus détaillée l’emporte, même si elle est fausse. »
Voici le problème avec cette affirmation : les modèles ne choisissaient pas entre la « vérité » et les « mensonges ».
Ils choisissaient entre :
- Trois sites Web qui ont fourni des réponses sous forme de réponses aux questions posées dans les invites.
- Une source (Xarumei) qui a rejeté les prémisses ou refusé de fournir des détails.
Étant donné que de nombreuses invites exigent implicitement des détails, les sources qui ont fourni des détails ont été plus facilement intégrées aux réponses. Pour ce test, les résultats n’avaient rien à voir avec la vérité ou le mensonge. Cela avait plus à voir avec autre chose qui est en réalité plus important.
Aperçu: Ahrefs a raison de dire que le contenu avec « l’histoire » la plus détaillée l’emporte. Ce qui se passe réellement, c’est que le contenu du site Xarumei n’a généralement pas été conçu pour fournir des réponses, ce qui le rend moins susceptible d’être choisi par les plateformes d’IA.
5. Mensonges contre récit officiel
L’un des tests consistait à voir si l’IA préférerait les mensonges au récit « officiel » du site Xarumei.
Le test Ahrefs explique :
« Donner le choix aux mensonges de l’IA (et une FAQ officielle pour riposter)
Je voulais voir ce qui se passerait si je donnais plus d’informations à l’IA. L’ajout d’une documentation officielle serait-il utile ? Ou est-ce que cela donnerait simplement aux modèles plus de matière à se fondre dans une fiction confiante ?
J’ai fait deux choses à la fois.
Tout d’abord, j’ai publié une FAQ officielle sur Xarumei.com avec des démentis explicites : « Nous ne produisons pas de ‘Presse-papier de précision’ », « Nous n’avons jamais été acquis », etc.
Aperçu: Mais comme expliqué précédemment, il n’y a rien d’officiel sur le site Xarumei. Il n’existe aucun signal qu’un moteur de recherche ou une plate-forme d’IA puisse utiliser pour comprendre que le contenu de la FAQ sur Xarumei.com est « officiel » ou constitue une référence en matière de vérité ou d’exactitude. C’est juste un contenu qui nie et obscurcit. Il n’est pas conçu comme une réponse à une question, et c’est précisément cela, plus que toute autre chose, qui l’empêche d’être une réponse idéale à un moteur de réponse IA.
Ce que prouve le test Ahrefs
Sur la base de la conception des questions dans les invites et des réponses publiées sur les sites de test, le test démontre que :
- Les systèmes d’IA peuvent être manipulés avec du contenu qui répond aux questions avec des détails.
- L’utilisation d’invites avec des questions suggestives peut amener un LLM à répéter des récits, même en cas de dénégations contradictoires.
- Différentes plateformes d’IA gèrent différemment les contradictions, la non-divulgation et l’incertitude.
- Un contenu riche en informations peut dominer les réponses synthétisées lorsqu’il correspond à la forme des questions posées.
Bien qu’Ahrefs ait décidé de tester si les plateformes d’IA révélaient de la vérité ou des mensonges sur une marque, ce qui s’est passé s’est avéré encore meilleur car ils ont montré par inadvertance que l’efficacité des réponses adaptées aux questions posées l’emporterait. Ils ont également démontré comment des questions suggestives peuvent affecter les réponses proposées par l’IA générative. Ce sont deux résultats utiles du test.
Recherche originale ici :
J’ai mené une expérience de désinformation sur l’IA. Chaque spécialiste du marketing devrait voir les résultats
