Google a récemment publié un document de recherche sur la formation d’un LLM pour remplacer les architectures de classement back-end actuelles pour la recherche. Les chercheurs proposent d’utiliser le classement autorégressif en remplacement des systèmes de classement actuels en deux étapes.
Encodeurs doubles et encodeurs croisés
Dans un sens très général et simple, les systèmes de classement de recherche traditionnels ont généralement une architecture en deux étapes avec un double encodeur et un encodeur croisé.
- Le Dual Encoder (DE) convertit les requêtes et les documents en vecteurs et les utilise pour récupérer rapidement des documents probables. Les encodeurs doubles sont relativement peu coûteux et rapides en termes de calcul. Ces documents de candidature sont ensuite transmis au Cross Encoder (CE).
- Le Cross Encoder (CE) examine et classe les pages candidates sélectionnées par le Dual Encoder (DE).
Les doubles encodeurs sont efficaces et rapides, mais leur capacité à classer les documents avec précision est limitée. C’est pourquoi les systèmes de classement utilisent des Cross Encoders, qui sont plus puissants. Mais les Cross Encoders sont trop coûteux en calcul pour une récupération à grande échelle, c’est pourquoi ils sont utilisés dans la deuxième étape pour classer les documents candidats.
Ce que les chercheurs proposent, c’est de remplacer le back-end de recherche en deux étapes par un nouveau système appelé classement autorégressif (ARR). Le document de recherche est intitulé Classement autorégressif : combler le fossé entre les encodeurs doubles et croisés. Les chercheurs viennent de Google DeepMind, de l’Université du Massachusetts Amherst et de l’Université du Texas à Austin.
C’est un changement assez radical que de remplacer le système de classement standard en deux étapes par un seul LLM qui produit la liste classée des documents. Si quelque chose comme ça était utilisé, les implications pour le SEO/AEO seraient profondes.
Former un modèle de classement : SToICaL
La première étape de la création du modèle de classement consiste à le former. Les chercheurs ont développé une méthode appelée SToICaL (Simple Token-Item Calibrated Loss) pour enseigner à un LLM comment classer les documents.
La formation enseigne au LLM quels documents doivent être classés plus haut et plus bas de deux manières :
- Premièrement, les documents qui devraient être mieux classés reçoivent plus de poids et ceux qui devraient être moins bien classés reçoivent moins.
- Deuxièmement, le classement fourni par les données de formation est utilisé pour donner plus de probabilité aux choix symboliques menant à des documents mieux classés.
Le résultat est un LLM qui apprend quels documents sont pertinents et est capable de supprimer le classement de ceux qui ne le sont pas.
Les chercheurs expliquent :
« Nous proposons ensuite SToICaL (Simple Token-Item Calibrated Loss), une perte de formation généralisée tenant compte du classement pour le réglage fin du LLM. En utilisant la repondération au niveau des éléments et la marginalisation de l’arbre des préfixes, nous distribuons la masse de probabilité sur les jetons docID valides en fonction de leur pertinence par rapport à la vérité terrain. »
Résultats des tests
Les chercheurs ont testé leur nouveau système pour évaluer s’il améliore réellement les performances de classement par rapport à la prédiction ordinaire du prochain jeton, en utilisant deux ensembles de données, WordNet et ESCI Shopping Queries. Ils l’ont également comparé aux doubles encodeurs et aux encodeurs croisés standard dans un test distinct utilisant WordNet.
Les résultats des tests ont montré que le classement autorégressif (ARR) était performant, mais pas sur tous les paramètres.
Ils ont partagé :
- SToICaL a amélioré la capacité de classement d’ARR. Les chercheurs ont écrit que leur formation basée sur le classement « améliore considérablement les mesures de classement au-delà de la récupération du top 1 ».
- La méthode de formation SToICaL a aidé ARR à classer avec succès les documents non pertinents en dessous des documents pertinents. Dans les expériences WordNet, les chercheurs affirment que leurs méthodes tenant compte du classement « réduisent considérablement » ce type d’erreur de classement.
- Dans la comparaison WordNet, l’ARR a fonctionné de manière similaire au Cross Encoder (celui qui coûte cher en termes de calcul) et nettement meilleur que le Dual Encoder.
Un domaine qui nécessite des recherches plus approfondies est que, dans le test de recherche d’achats, une version de la méthode est devenue moins bonne pour classer le résultat le plus pertinent en premier, même si elle a amélioré le classement global des résultats.
Conclusions
Les chercheurs concluent que les doubles encodeurs (DE) deviennent contraints à mesure que le nombre de documents à classer augmente car, pour représenter tous les classements possibles, la taille du vecteur doit augmenter en conséquence. Ils montrent que l’ARR n’a pas cette limitation et qu’en théorie il peut classer un nombre arbitraire de documents.
Ils expliquent :
« Nous fournissons une base théorique pour la capacité d’expression supérieure de l’ARR par rapport aux DE. Une analyse rigoureuse de la géométrie d’intégration requise pour le classement montre que pour qu’un DE puisse obtenir un ordre de 𝑘 documents, sa dimension d’intégration doit croître linéairement avec 𝑘.
En revanche, nous prouvons qu’un modèle ARR à dimension cachée constante est théoriquement suffisant pour classer un nombre arbitraire de documents. Cela offre une explication formelle des avantages de l’ARR.
Cependant, il s’agit d’un résultat théorique, ce qui signifie qu’il n’établit pas nécessairement que l’ARR fonctionnera de cette manière dans les systèmes de recherche du monde réel. Pourtant, les chercheurs affirment également que leurs expériences ont montré que l’approche améliorait les performances de classement et permettait de mieux conserver les documents non pertinents en dessous des documents pertinents.
Ils écrivent (PDF) :
« Dans cet article, nous avons établi une base théorique pour le classement autorégressif, prouvant que même si les DE nécessitent que les dimensions d’intégration augmentent avec la taille du corpus, les modèles ARR générant des docID multi-jetons peuvent résoudre des tâches de classement complètes avec une dimension cachée constante, étant donné une condition légère sur le rang de la matrice d’intégration pour les jetons docID.
Nous avons proposé une perte de formation généralisée tenant compte du classement pour un classement autorégressif (par points) qui repose sur la repondération au niveau des éléments et la marginalisation des préfixes pour distribuer la masse de probabilité sur les jetons docID valides en fonction de leur pertinence par rapport à la vérité terrain. Des expériences sur WordNet et ESCI montrent que cette approche supprime avec succès les générations de docID invalides et améliore les indicateurs de classement clés.
Points à retenir
- Certains référenceurs ont tendance à dire que la recherche a changé grâce à l’IA. Mais cet article montre clairement que, pour la partie classement, les Dual Encoders et Cross Encoders jouent toujours un rôle.
- Un autre point à retenir est que nous n’avons pas encore atteint le point où « tout a changé », mais ce document de recherche montre que Google se rapproche peut-être du jour où la recherche changera réellement de manière profonde.
