Lorsqu’un modèle d’IA n’a rien sur votre entreprise, il n’en parle à personne. Il ne décline pas, il ne se protège pas et il ne marque pas le point où ses preuves se sont épuisées. Il recherche l’élément le plus proche et bien documenté, qui est généralement un concurrent, une moyenne de catégorie ou une version de vous d’il y a trois ans, et il propose cette substitution dans le même registre confiant qu’il utilise lorsqu’il le sait réellement.
Cela a été discuté. Ce qui n’a pas été abordé, c’est la partie qui devrait inquiéter quiconque dirige ce travail : vous ne pouvez pas le trouver en auditant votre propre contenu. Chaque audit de contenu jamais construit inspecte ce qui existe : pages, structure, couverture, exactitude, fraîcheur. Cet échec vit dans ce qui n’existe pas, dans un lieu qui ne vous appartient pas, et il ne devient visible qu’au moment où quelqu’un pose une question que vous ne verrez jamais.
L’audit revient donc sans faute. Les pages sont bien. Le schéma est validé. La couverture semble raisonnable par rapport à l’ensemble concurrentiel. Et le modèle continue de dire aux gens quelque chose sur votre entreprise qu’aucune de vos pages ne soutient et qu’aucune de vos pages n’aurait pu empêcher.
Pourquoi le modèle comble le vide au lieu de le laisser
Le mécanisme est bien documenté, et je me suis appuyé sur Mallen et ses collègues suffisamment de fois dans ce bulletin pour que les lecteurs réguliers puissent parcourir cette partie : les modèles luttent spécifiquement avec des connaissances factuelles moins populaires, et les agrandir améliore principalement le rappel des faits populaires tout en faisant très peu pour la queue. L’échelle ne vient pas à la rescousse du fabricant de taille moyenne ou de l’entreprise de services régionale. La partie fine de la distribution reste fine.
Ce qui se passe dans cette partie mince est une question intéressante. Longpre et ses collègues, dans leurs travaux EMNLP 2021 sur les conflits de connaissances, ont mesuré dans quelle mesure les modèles s’appuient sur des informations mémorisées plutôt que de lire ce qui se trouve réellement devant eux, et ont formulé la question du praticien comme si un modèle avait tendance à halluciner plutôt qu’à lire. Le comportement n’est pas l’abstention. Il s’agit d’une production sûre à partir de ce que les poids contiennent.
Séparez cela de l’hallucination comme le terme est normalement utilisé, car l’industrie a aplati les deux et cet aplatissement vous coûte le diagnostic. L’hallucination générique est aléatoire. Il produit une fausse citation de cas, une statistique fabriquée, un article plausible qui n’existe pas, et il le fait de manière suffisamment imprévisible pour que de meilleurs modèles le réduisent de manière mesurable. Ce que je décris n’est pas aléatoire. Elle est systématique, directionnelle et prévisible à partir de la forme des preuves. Étant donné une entité clairsemée et un voisin dense, un modèle dérivera de manière fiable vers le voisin, et il le fera à chaque fois dans la même direction, car le gradient pointant dans cette direction est une propriété de la distribution d’entraînement plutôt qu’un problème d’échantillonnage. C’est pourquoi l’assurance habituelle selon laquelle les nouveaux modèles hallucinent moins ne s’applique pas ici. Les modèles s’améliorent pour ne pas inventer des choses. Ils ne connaissent pas mieux les entreprises sur lesquelles personne n’a écrit.
Un exemple concret, publié en juin
Un article d’un fournisseur circule actuellement sur les détails hallucinants des produits de l’IA, destiné aux équipes de marque, les avertissant que les modèles inventent des allégations sur leurs produits. C’est une écriture compétente sur un problème réel.
Il ouvre son argumentation par une citation directe attribuée à Percy Liang, nommé à juste titre directeur du Centre de recherche sur les modèles de fondation de Stanford, sur la façon dont les modèles se confondent dans des contextes commerciaux. Je ne trouve cette citation nulle part ailleurs. Ni dans un journal, ni dans une conférence, ni dans une interview, ni sur aucune autre page du Web. Le même article contient des citations attribuées à deux personnalités médiatiques bien connues que je n’arrive pas non plus à localiser. Il attribue une fourchette de taux d’hallucinations à l’indice Stanford HAI AI, établissant un lien vers la porte d’entrée du rapport plutôt que vers n’importe quelle page à l’intérieur de celui-ci. Ensuite, il refait la même chose environ une douzaine de fois. Un rapport Nielsen sur la confiance des consommateurs. Un rapport sur les risques de Gartner. Un rapport du groupe de travail de l’IAB. Une étude d’évaluation du MIT Sloan. Chaque titre ressemble exactement à un véritable reportage. Chaque lien pointe vers la page d’accueil d’une organisation et jamais vers un document.
Relisez-le à la lumière du sujet de l’article. Il s’agit d’un article avertissant les marques que les systèmes d’IA inventent des affirmations confiantes à leur sujet, et il invente des affirmations confiantes sur les chercheurs et les institutions pour faire valoir leurs arguments. Le mécanisme n’est pas resté dans la machine. Il est sorti de l’autre côté, a été publié, indexé et fait désormais partie du corpus dont la prochaine génération de modèles va apprendre.
La juste objection est qu’une grande partie de ces recherches se trouvent derrière un mur payant, et qu’un écrivain sans abonnement Gartner ou Forrester ne peut véritablement pas y accéder en profondeur. Cela couvre une partie de la liste. Il ne couvre pas l’index de Stanford, qui est un téléchargement public gratuit. Il ne couvre pas l’ACL Anthology, qui est gratuite, ouverte et entièrement indexée, et dans laquelle le document de taxonomie crédité du tri des hallucinations de marque en quatre types nommés ne semble pas exister. Et cela ne couvre pas une citation, car une personne a dit quelque chose en public ou ne l’a pas fait, et aucun abonnement ne change cela. Il existe également une convention pour citer un travail sécurisé : nommer le rapport, l’auteur et la date, afin qu’un lecteur ayant accès puisse le trouver et qu’un lecteur non autorisé puisse confirmer qu’il est réel. Ce qui se trouve sur cette page est plutôt un titre qui correspond parfaitement à la revendication et rien en dessous.
Ici, le vendeur ne m’intéresse pas vraiment, et je ne le nomme délibérément pas, car le spécimen compte et pas l’entreprise. Ce qui compte, c’est que c’est exactement l’échec qui se produit à un niveau supérieur. Celui qui a assemblé cette pièce avait besoin d’un soutien faisant autorité pour ses affirmations sur les taux d’hallucinations au niveau de la marque, et un soutien faisant autorité pour ces affirmations spécifiques n’existe pas dans le volume requis par l’argument. Le vide s’est donc rempli d’éléments façonnés comme des preuves. De vrais noms d’institutions, des titres de rapports plausibles, un directeur de Stanford correctement identifié, des liens de travail qui mènent à de véritables organisations. Chaque surface signale la rigueur, rien de la substance.
Et pensez au directeur marketing qui le lit, croit aux chiffres et les répète sur un tableau. La substitution est passée d’un modèle à un article, à une personne, puis à une décision, sans que personne tout au long de la chaîne ne fasse quoi que ce soit de mal.
4 formes, 1 comportement
La substitution n’apparaît pas deux fois de la même manière, ce qui explique en partie pourquoi elle reste invisible. Il prend quatre formes reconnaissables, et chacune est généralement diagnostiquée à tort comme étant autre chose.
Le premier est analogie silencieuseoù le modèle atteint le voisin le plus proche et le décrit comme étant vous. Votre modèle de tarification devient le modèle de tarification de votre plus grand concurrent. Votre calendrier de mise en œuvre devient le calendrier de mise en œuvre de la catégorie. Rien dans la réponse n’indique qu’un échange s’est produit, car du côté du modèle, aucun échange ne s’est produit. Il s’agit de la description la plus probable d’une entreprise comme la vôtre.
La seconde est la vétusté présentée comme monnaie. Le modèle contient une version de votre entreprise qui était exacte à un moment donné et l’énonce au présent. Produits abandonnés, dirigeants décédés, une ancienne déclaration de positionnement, un marché que vous avez quitté. Il n’y a pas d’horodatage sur la mémoire paramétrique et aucun avertissement d’expiration n’y est associé.
Le troisième concerne les preuves minces traitées avec la confiance des preuves épaisses. Un article commercial et quarante sources indépendantes produisent des réponses identiques. Le modèle ne révèle pas la quantité de matériel sur lequel il repose, donc une affirmation reposant sur un seul article de blog semble ressembler à un consensus.
Le quatrième concerne la connaissance des catégories appliquée à une entreprise spécifique. Le modèle en sait beaucoup sur votre secteur et très peu sur vous. Il répond donc à la question relative au secteur et y associe votre nom. Celui-ci est le plus difficile à repérer car la réponse est généralement vraie pour la catégorie, ce qui signifie qu’elle survit à une vérification de précision occasionnelle.
Pourquoi chacun d’entre eux effectue un audit de contenu
Voici la partie qui compte sur le plan opérationnel. Un audit de contenu examine vos pages par rapport à une norme. Aucun de ces quatre échecs n’a rien à voir avec vos pages. Les preuves qui auraient empêché chacun d’eux ont été rédigées pour la plupart par d’autres personnes, au fil des années, et non par vous. Aucune inspection de votre propre matériel ne révèle ce déficit, car le déficit ne réside pas dans votre matériel.
La réponse naturelle est de publier davantage. Écrivez les pages, comblez les lacunes, soyez récupéré, laissez la récupération corriger les erreurs de pondération. Cet instinct est compréhensible et il est plus faible qu’il n’y paraît. Sciavolino et ses collègues, dans leurs travaux de l’EMNLP 2021 sur les questions centrées sur les entités, ont découvert que les récupérateurs denses sous-performent les méthodes clairsemées sur les questions riches en entités et se généralisent de manière fiable uniquement aux entités communes. Le même gradient de popularité qui affaiblit votre présence dans les pondérations réapparaît dans ce qui est récupéré. La récupération est une seconde application du biais plutôt qu’une correction de celui-ci, ce qui signifie que la trappe de secours que la plupart des conseils tactiques vendent actuellement passe par la même porte étroite que tout le reste.
Ainsi, l’audit est propre, le contenu est correct, plus de contenu est au mieux une réponse partielle, et l’échec se produit de toute façon, une fois par requête, en privé, à un volume que personne ne compte.
Le seul endroit où cela devient visible
Vous trouvez la substitution en observant les résultats, et non en inspectant les entrées. C’est tout le changement, et c’est inconfortable, car la surface de diagnostic est quelque chose que vous ne possédez pas et que vous ne pouvez pas échantillonner complètement.
Ce que vous recherchez est spécifique et il ne s’agit pas d’exactitude au sens ordinaire du terme. Il s’agit de toute affirmation qu’un modèle fait à propos de votre entreprise et qu’aucune de vos sources ne soutient. Il ne s’agit pas d’affirmations fausses, même si celles-ci comptent. Réclamations sans origine traçable dans tout ce qui est publié par vous ou à votre sujet. Une capacité que vous n’avez pas, décrite en détail avec assurance. Une chronologie que vous n’avez jamais citée. Une comparaison des concurrents établie sur des conditions que vous n’avez jamais définies. Chacun de ces éléments est un endroit où le modèle avait besoin de preuves sur vous, ne les avait pas et a quand même produit quelque chose.
La façon dont vous échantillonnez compte plus que la quantité que vous échantillonnez. Demander à un modèle de décrire votre entreprise par son nom est le test le moins informatif disponible, car votre nom dans l’invite est lui-même un indice de récupération qui place tout matériau mince existant directement dans son contexte. Les substitutions apparaissent sur les questions où votre nom est absent et doit être fourni par le modèle. Catégoriez les questions avec un qualificatif. Questions de comparaison nommant uniquement votre concurrent. Des questions sur une capacité plutôt que sur une entreprise. Ce sont les conditions dans lesquelles un modèle décide si vous appartenez à la réponse et que dire de vous une fois qu’il a décidé. C’est à cette décision que le voisin s’emprunte.
Exécutez cela sur un éventail réel de questions que vos acheteurs posent réellement, à plusieurs reprises, à mesure que les substitutions évoluent. Traitez ensuite les résultats comme une carte des endroits où la description tierce est manquante plutôt que comme une liste de pages à corriger, car c’est de cela qu’il s’agit. Je dirai clairement que je dirige une entreprise dans le domaine de la mesure, donc je suis impliqué dans tout cela et je vois les choses d’un point de vue unique. Cela ne change rien au point sous-jacent, à savoir qu’une discipline entièrement construite autour de l’audit de ce que vous possédez est structurellement aveugle à un échec qui se produit entièrement en dehors de ce que vous possédez.
La version inconfortable : l’audit de contenu le plus propre que vous ayez jamais réalisé ne vous dit rien à ce sujet, et il ne l’a jamais fait.
Si vous avez surpris un mannequin disant quelque chose sur votre entreprise qui ne remonte à rien que vous ayez pu trouver, j’aimerais en entendre parler. Laissez un commentaire avec ce qu’il a dit et comment vous l’avez remarqué, ou contactez directement. Les exemples sont plus utiles que la théorie ici, et il n’existe pas encore de bonne collection publique.
J’examine plus en détail comment ces systèmes construisent et conservent leur image d’une entreprise dans La couche machinedisponible ici.
Plus de ressources :
Cet article a été initialement publié sur Duane Forrester Decodes.
