Google a publié un nouveau document de recherche qui révèle que les LLM frontières codent 95 à 98 % des faits testés, mais sont incapables de rappeler directement 26 à 34 % des réponses aux requêtes. Une partie du problème réside dans le fait que le rappel devient plus difficile lorsque les questions inversent l’ordre sujet/entité objet dans lequel un fait a été rencontré lors de la formation.
Informations paramétriques
Les informations paramétriques sont essentiellement les informations que les LLM ont codées pendant la formation. Ces informations proviennent des pages Web, des paroles de chansons, des livres, des instructions, du code et de tout ce sur quoi le LLM a été formé.
La question à laquelle les chercheurs cherchaient à répondre était la suivante : pourquoi les LLM ne parviennent-ils pas à se souvenir de certaines informations sur lesquelles ils ont été formés ? On pensait auparavant que les LLM n’étaient peut-être pas formés sur suffisamment d’informations, mais les chercheurs ont découvert que ce n’est pas toujours le cas pour les LLM frontaliers.
Les chercheurs expliquent que l’encodage est saturé, ce qui signifie que les informations nécessaires pour répondre aux questions se trouvent généralement déjà dans les LLM.
Ils écrivent :
« L’encodage est saturé ; le rappel ne l’est pas. Pour les LLM frontières tels que Gemini-3-Pro et GPT-5, l’encodage factuel est proche de la saturation, avec 95 à 98 % des faits codés. Pourtant, ces modèles ne parviennent pas à rappeler directement 26 à 34 % des faits, ou 11 à 12 % même avec réflexion.
En conséquence, les échecs de rappel représentent plus de 70 % des erreurs de GPT-5.2 et une part plus importante dans les modèles plus solides, ce qui suggère que le rappel est effectivement un goulot d’étranglement.
Cela signifie que le goulot d’étranglement ne vient pas du fait que les LLM frontaliers ne disposent pas de suffisamment de faits et d’informations. Le goulot d’étranglement réside dans l’accès à ces informations.
Entités sujet et objet
Une découverte curieuse de la recherche est que l’une des raisons pour lesquelles les LLM n’ont pas réussi à rappeler des faits spécifiques est que l’entité sujet et l’entité objet liées à un fait ont été apprises dans un ordre spécifique. Lorsqu’une requête contenant l’ordre inversé est soumise au LLM, celui-ci a plus de difficulté à se souvenir du fait car il a été appris dans un ordre différent.
Le document de recherche explique ce que sont les entités sujet et objet :
« Les rôles de sujet et d’objet sont déterminés par le texte source dont le fait a été extrait (par exemple, un document Wikipédia) : le sujet est l’entité qui apparaît en premier dans le texte, et l’objet apparaît ensuite. »
Ensuite, il explique ce que cela signifie en inversant le sujet et l’objet :
« Une question dont la réponse est l’objet est appelée une question directe, tandis qu’une question dont la réponse est le sujet est appelée une question inversée. »
L’explication de Google utilise l’exemple suivant pour illustrer la paire d’entités sujet/objet :
« Oasis a joué son premier concert au club Boardwalk. »
Dans l’exemple ci-dessus, « Oasis » est l’entité sujet et « le club Boardwalk » est l’entité objet.
Ainsi, dans l’exemple de « Oasis » et « the Boardwalk club », lorsque ces paires apparaissent systématiquement avec Oasis en premier, le LLM éprouve une incapacité à se souvenir du fait lorsque la requête inverse le sujet/objet.
Voici maintenant une autre découverte curieuse. Le LLM est capable de reconnaître le fait lorsque les entités sujet et objet inversées sont présentées parmi des alternatives dans une question à choix multiples.
Les chercheurs n’expliquent pas pourquoi le LLM est capable de reconnaître la réponse lorsqu’elle fait partie d’une question à choix multiples. Ils l’utilisent comme preuve que la réponse est codée dans le LLM et reconnaissable.
La formulation de la question a eu un impact insignifiant sur le rappel
Les chercheurs ont vérifié si la reformulation des questions faisait une différence dans la capacité des LLM frontaliers à se souvenir des faits. Ils ont constaté que cela n’affectait pas de manière significative la capacité d’un modèle à se souvenir d’un fait. Ce qui importait, c’était d’inverser l’ordre sujet/objet.
Les faits à longue traîne sont difficiles à retenir
Une autre découverte intéressante est que les LLM frontaliers ont rencontré des difficultés avec les faits à longue traîne, ce que les chercheurs ont appelés les faits rares. L’écart entre l’encodage des faits populaires et des faits rares était faible, mais plus grand pour le rappel. L’incapacité de se souvenir de faits rares n’était souvent pas due au fait que les LLM n’apprenaient pas l’information. Ils étaient simplement bloqués au stade du rappel.
Solution testée : plus de réflexion
Les chercheurs ont testé la pensée pour rappeler des faits et ont découvert que les LLM étaient capables de rappeler 40 à 65 % des faits codés qui ne pouvaient pas être rappelés directement auparavant. L’inconvénient d’une réflexion plus poussée est que cela coûte cher en termes de calcul. Les chercheurs notent également qu’il existe un problème supplémentaire : savoir quand déclencher davantage de réflexion.
La mise à l’échelle de la formation LLM n’est pas une solution
Enfin, les chercheurs ont noté que la mise à l’échelle des LLM frontières n’est pas une solution au problème du rappel.
SEO et paires d’entités sujet/objet
L’intuition concernant l’ordre des paires d’entités sujet et objet est qu’il peut être avantageux de les ordonner selon la manière la plus courante dont les requêtes les ordonnent. Ce n’est pas une conclusion du document de recherche. Ce n’est pas non plus quelque chose qui est prouvé. Mais intuitivement, il peut être raisonnable d’ordonner les entités sujet et les entités objet en fonction de leur association d’ordre la plus courante.
Bien que le document de recherche n’indique pas qu’un classement commun de ces entités aidera un LLM à choisir une page Web particulière, il s’agit d’une hypothèse raisonnable du point de vue du référencement.
Le document de recherche s’intitule Étagères vides ou clés perdues ? Le rappel est le goulot d’étranglement de la réalité paramétrique (PDF)
L’explication de Google s’intitule Pourquoi le rappel échoue-t-il ?
