Des chercheurs d’Anthropic ont étudié la capacité de Claude 3.5 Haiku à décider quand couper une ligne de texte dans une largeur fixe, une tâche qui nécessite que le modèle suive sa position au fur et à mesure qu’il écrit. L’étude a abouti au résultat surprenant selon lequel les modèles de langage forment des modèles internes ressemblant à la conscience spatiale que les humains utilisent pour suivre leur localisation dans l’espace physique.
Andreas Volpini a tweeté à propos de cet article et a fait une analogie avec le découpage du contenu pour la consommation de l’IA. Dans un sens plus large, son commentaire fonctionne comme une métaphore de la façon dont les écrivains et les modèles naviguent dans la structure, trouvant une cohérence aux frontières où se termine un segment et où commence un autre.
Ce document de recherche, cependant, ne porte pas sur la lecture de contenu mais sur la génération de texte et l’identification de l’endroit où insérer un saut de ligne afin d’ajuster le texte dans une largeur fixe arbitraire. Le but était de mieux comprendre ce qui se passe à l’intérieur d’un LLM, car il garde une trace de la position du texte, du choix des mots et des limites des sauts de ligne lors de l’écriture.
Les chercheurs ont créé une tâche expérimentale consistant à générer du texte avec un saut de ligne d’une largeur spécifique. L’objectif était de comprendre comment Claude 3.5 Haiku décide quels mots doivent tenir dans une largeur spécifiée et quand insérer un saut de ligne, ce qui oblige le modèle à suivre la position actuelle dans la ligne de texte qu’il génère.
L’expérience démontre comment les modèles de langage apprennent la structure à partir de modèles de texte sans programmation ni supervision explicites.
Le défi révolutionnaire
La tâche de saut de ligne nécessite que le modèle décide si le mot suivant tiendra sur la ligne actuelle ou s’il doit en commencer une nouvelle. Pour réussir, le modèle doit apprendre la contrainte de largeur de ligne (la règle qui limite le nombre de caractères pouvant tenir sur une ligne, comme dans l’espace physique sur une feuille de papier). Pour ce faire, le LLM doit suivre le nombre de caractères écrits, calculer combien il en reste et décider si le mot suivant convient. La tâche exige du raisonnement, de la mémoire et de la planification. Les chercheurs ont utilisé des graphiques d’attribution pour visualiser comment le modèle coordonne ces calculs, montrant des caractéristiques internes distinctes pour le nombre de caractères, le mot suivant et le moment où un saut de ligne est requis.
Comptage continu
Les chercheurs ont observé que Claude 3.5 Haiku représente le décompte des caractères de ligne non pas comme un comptage étape par étape, mais comme une structure géométrique lisse qui se comporte comme une surface continuellement incurvée, permettant au modèle de suivre la position de manière fluide (à la volée) plutôt que de compter symbole par symbole.
Un autre point intéressant est qu’ils ont découvert que le LLM avait développé une tête de frontière (une « tête d’attention ») chargée de détecter la limite de ligne. Un mécanisme d’attention pèse l’importance de ce qui est considéré (jetons). Une tête d’attention est un composant spécialisé du mécanisme d’attention d’un LLM. La tête de délimitation, qui est une tête d’attention, se spécialise dans la tâche étroite de détection de la limite de fin de ligne.
Le document de recherche déclare :
« Une caractéristique essentielle de la représentation du nombre de caractères de ligne est que la « tête de frontière » tord la représentation, permettant à chaque compte de s’associer à un compte légèrement plus grand, indiquant que la frontière est proche. Autrement dit, il existe une carte linéaire QK qui fait glisser la courbe de comptage de caractères le long d’elle-même. Une telle action n’est pas admise par les plongements génériques à haute courbure du cercle ou de l’intervalle comme ceux du modèle physique que nous avons construit. Mais elle est présente à la fois dans la variété que nous observons dans Haiku et, comme nous le voyons maintenant. montrer, dans la construction de Fourier.
Comment fonctionne la détection des limites
Les chercheurs ont découvert que Claude 3.5 Haiku sait quand une ligne de texte atteint presque la fin en comparant deux signaux internes :
- Combien de personnages il a déjà généré, et
- Quelle est la longueur supposée de la file d’attente.
Les responsables de l’attention aux limites susmentionnés décident sur quelles parties du texte se concentrer. Certaines de ces têtes se spécialisent dans le repérage lorsque la ligne est sur le point d’atteindre sa limite. Pour ce faire, ils font légèrement pivoter ou alignent les deux signaux internes (le nombre de caractères et la largeur de ligne maximale) de sorte que lorsqu’ils correspondent presque, l’attention du modèle se déplace vers l’insertion d’un saut de ligne.
Les chercheurs expliquent :
« Pour détecter l’approche d’une limite de ligne, le modèle doit comparer deux quantités : le nombre actuel de caractères et la largeur de la ligne. Nous trouvons des têtes d’attention dont la matrice QK fait pivoter un collecteur de comptage pour l’aligner avec l’autre selon un décalage spécifique, créant ainsi un produit interne important lorsque la différence des nombres se situe dans une plage cible. Plusieurs têtes avec des décalages différents travaillent ensemble pour estimer avec précision les caractères restants. «
Étape finale
À ce stade de l’expérience, le modèle a déjà déterminé à quelle distance il se trouve de la limite de la ligne et quelle sera la longueur du mot suivant. La dernière étape consiste à utiliser ces informations.
Voici comment cela s’explique :
« La dernière étape de la tâche de saut de ligne consiste à combiner l’estimation de la limite de ligne avec la prédiction du mot suivant pour déterminer si le mot suivant tiendra sur la ligne ou si la ligne doit être interrompue. »
Les chercheurs ont découvert que certaines fonctionnalités internes du modèle s’activent lorsque le mot suivant ferait dépasser la limite de la ligne, servant ainsi efficacement de détecteurs de limites. Lorsque cela se produit, le modèle augmente les chances de prédire un symbole de nouvelle ligne et réduit les chances de prédire un autre mot. D’autres fonctionnalités font le contraire : elles s’activent lorsque le mot tient encore, réduisant ainsi les chances d’insérer un saut de ligne.
Ensemble, ces deux forces, l’une poussant à une rupture de ligne et l’autre la retenant, s’équilibrent pour prendre la décision.
Les mannequins peuvent-ils avoir des illusions visuelles ?
La partie suivante de la recherche est assez incroyable car ils ont tenté de tester si le modèle pouvait être sensible aux illusions visuelles qui pourraient le faire trébucher. Ils ont commencé avec l’idée de la façon dont les humains peuvent être trompés par des illusions visuelles qui présentent une fausse perspective qui donne l’impression que des lignes de même longueur sont de longueurs différentes, l’une plus courte que l’autre.
Capture d’écran d’une illusion visuelle
Les chercheurs ont inséré des jetons artificiels, tels que « @@ », pour voir comment ils perturbaient le sens de position du modèle. Ces tests ont provoqué des désalignements dans les modèles internes du modèle qu’il utilise pour suivre la position, semblables aux illusions visuelles qui trompent la perception humaine. Cela a provoqué un changement dans la perception des limites des lignes par le modèle, montrant que sa perception de la structure dépend du contexte et des modèles appris. Même si les LLM ne voient pas, ils subissent des distorsions dans leur organisation interne, semblables à la façon dont les humains jugent mal ce qu’ils voient en perturbant les centres d’attention concernés.
Ils ont expliqué :
« Nous constatons qu’il module le prochain jeton prédit, perturbant la prédiction de nouvelle ligne ! Comme prévu, les têtes concernées sont distraites : alors qu’avec l’invite d’origine, les têtes vont de nouvelle ligne en nouvelle ligne, dans l’invite modifiée, les têtes s’occupent également du @@. »
Ils se demandaient s’il y avait quelque chose de spécial dans les caractères @@ ou si d’autres caractères aléatoires perturberaient la capacité du modèle à mener à bien la tâche. Ils ont donc effectué un test avec 180 séquences différentes et ont constaté que la plupart d’entre elles ne perturbaient pas la capacité du modèle à prédire le point de rupture de ligne. Ils ont découvert que seul un petit groupe de caractères liés au code était capable de détourner l’attention des têtes concernées et de perturber le processus de comptage.
Les LLM ont une perception visuelle du texte
L’étude montre comment les fonctionnalités basées sur le texte évoluent vers des systèmes géométriques fluides au sein d’un modèle de langage. Cela montre également que les modèles ne traitent pas seulement les symboles, ils créent à partir d’eux des cartes basées sur la perception. Cette partie, concernant la perception, est pour moi ce qui est vraiment intéressant dans la recherche. Ils reviennent sans cesse aux analogies liées à la perception humaine et à la manière dont ces analogies continuent de s’intégrer dans ce qu’ils voient se passer au sein du LLM.
Ils écrivent :
« Bien que nous décrivions parfois les premières couches des modèles de langage comme responsables de la « détokénisation » de l’entrée, il est peut-être plus évocateur de considérer cela comme une perception. Le début du modèle est en réalité responsable de la visualisation de l’entrée, et une grande partie des premiers circuits sert à détecter ou à percevoir le texte, de la même manière que les premières couches des modèles de vision implémentent la perception de bas niveau. «
Puis un peu plus tard, ils écrivent :
« Les modèles géométriques et algorithmiques que nous observons ont des parallèles suggestifs avec la perception dans les systèmes neuronaux biologiques. … Ces caractéristiques présentent une dilatation – représentant un nombre de caractères de plus en plus grand s’activant sur des plages de plus en plus grandes – reflétant la dilatation des représentations numériques dans les cerveaux biologiques. De plus, l’organisation des caractéristiques sur une variété de faible dimension est un exemple d’un motif commun dans la cognition biologique. Bien que les analogies ne soient pas parfaites, nous soupçonnons qu’il existe encore un chevauchement conceptuel fructueux résultant d’une collaboration accrue entre les neurosciences et interprétabilité. »
Implications pour le référencement ?
Arthur C. Clarke a écrit que la technologie avancée ne se distingue pas de la magie. Je pense qu’une fois que vous comprenez une technologie, elle devient plus accessible et ressemble moins à de la magie. Toutes les connaissances n’ont pas une utilité utilitaire et je pense que comprendre comment un LLM perçoit le contenu est utile dans la mesure où il n’est plus magique. Cette recherche fera-t-elle de vous un meilleur référencement ? Cela approfondit notre compréhension de la façon dont les modèles de langage organisent et interprètent la structure du contenu, le rend plus compréhensible et moins magique.
Découvrez la recherche ici :
Quand les modèles manipulent des variétés : la géométrie d’une tâche de comptage
