Google a publié un document de recherche visant à aider les systèmes de recommandation à comprendre ce que les utilisateurs veulent dire lorsqu’ils interagissent avec eux. Leur objectif avec cette nouvelle approche est de surmonter les limitations inhérentes aux systèmes de recommandation de pointe actuels afin d’obtenir une compréhension plus fine et détaillée de ce que les utilisateurs veulent lire, écouter ou regarder au niveau de l’individu.
Sémantique personnalisée
Les systèmes de recommandation prédisent ce qu’un utilisateur aimerait lire ou regarder ensuite. YouTube, Google Discover et Google News sont des exemples de systèmes de recommandation permettant de recommander du contenu aux utilisateurs. D’autres types de systèmes de recommandation sont les recommandations d’achat.
Les systèmes de recommandation fonctionnent généralement en collectant des données sur les types de choses sur lesquelles un utilisateur clique, évalue, achète et regarde, puis en utilisant ces données pour suggérer davantage de contenu qui correspond aux préférences d’un utilisateur.
Les chercheurs ont qualifié ce type de signaux de commentaires primitifs des utilisateurs, car ils ne sont pas très efficaces dans les recommandations basées sur le jugement subjectif d’un individu sur ce qui est drôle, mignon ou ennuyeux.
L’intuition derrière la recherche est que l’essor des LLM présente une opportunité de tirer parti des interactions en langage naturel pour mieux comprendre ce que veut un utilisateur grâce à l’identification de l’intention sémantique.
Les chercheurs expliquent :
« Les systèmes de recommandation interactifs sont apparus comme un paradigme prometteur pour surmonter les limites des commentaires primitifs des utilisateurs utilisés par les systèmes de recommandation traditionnels (par exemple, clics, consommation d’articles, évaluations). Ils permettent aux utilisateurs d’exprimer leurs intentions, leurs préférences, leurs contraintes et leurs contextes de manière plus riche, souvent en utilisant un langage naturel (y compris la recherche à facettes et le dialogue).
Des recherches supplémentaires sont cependant nécessaires pour trouver les moyens les plus efficaces d’utiliser ces commentaires. L’un des défis consiste à déduire l’intention sémantique d’un utilisateur à partir des termes ou attributs ouverts souvent utilisés pour décrire un élément souhaité. Ceci est essentiel pour les systèmes de recommandation qui souhaitent aider les utilisateurs dans leur utilisation quotidienne et intuitive du langage naturel afin d’affiner les résultats des recommandations.
Voir aussi: Un guide d’optimisation pour Google Actualités, Top Stories et Discover
Le défi des attributs doux
Les chercheurs ont expliqué que les attributs concrets sont quelque chose que les systèmes de recommandation peuvent comprendre car ce sont des vérités objectives telles que « genre, artiste, réalisateur ». Ce qui leur posait problème, c’était d’autres types d’attributs appelés « attributs logiciels » qui sont subjectifs et pour lesquels ils ne pouvaient pas être mis en correspondance avec des films, du contenu ou des produits.
Le document de recherche indique les caractéristiques suivantes des attributs souples :
- « Il n’existe aucune source de « vérité terrain » définitive associant des attributs aussi doux à des objets.
- Les attributs eux-mêmes peuvent avoir des interprétations imprécises
- Et ils peuvent être de nature subjective (c’est-à-dire que différents utilisateurs peuvent les interpréter différemment) »
Le problème des attributs souples est le problème que les chercheurs ont tenté de résoudre et c’est pourquoi le document de recherche s’intitule Découverte de la sémantique personnalisée pour les attributs souples dans les systèmes de recommandation à l’aide de vecteurs d’activation de concepts.
Nouvelle utilisation des vecteurs d’activation de concepts (CAV)
Les vecteurs d’activation de concept (CAV) sont un moyen de sonder les modèles d’IA pour comprendre les représentations mathématiques (vecteurs) que les modèles utilisent en interne. Ils permettent aux humains de connecter ces vecteurs internes aux concepts.
La direction standard du CAV est donc l’interprétation du modèle. Les chercheurs ont changé cette direction afin que l’objectif soit désormais d’interpréter les utilisateurs, en traduisant les attributs subjectifs en représentations mathématiques pour les systèmes de recommandation. Les chercheurs ont découvert que l’adaptation des CAV pour interpréter les utilisateurs permettait des représentations vectorielles qui aidaient les modèles d’IA à détecter des intentions subtiles et des jugements humains subjectifs personnalisés pour un individu.
Comme ils l’écrivent :
« Nous démontrons… que notre représentation CAV interprète non seulement avec précision la sémantique subjective des utilisateurs, mais peut également être utilisée pour améliorer les recommandations grâce à une critique interactive des éléments. »
Par exemple, le modèle peut apprendre que les utilisateurs entendent différentes choses par « drôle » et être mieux à même d’exploiter cette sémantique personnalisée lorsqu’ils font des recommandations.
Le problème que les chercheurs tentent de résoudre est de trouver comment combler le fossé sémantique entre la façon dont les humains parlent et la façon dont les systèmes de recommandation « pensent ».
Les humains pensent en concepts, en utilisant des descriptions vagues ou subjectives (appelées attributs souples).
Les systèmes de recommandation « pensent » en mathématiques : ils opèrent sur des vecteurs (des listes de nombres) dans un « espace d’intégration » de grande dimension.
Le problème devient alors de rendre le discours humain subjectif moins ambigu mais sans avoir à modifier ou recycler le système de recommandation avec toutes les nuances. Les CAV font le gros du travail.
Les chercheurs expliquent :
«… nous déduisons la sémantique des attributs souples en utilisant la représentation apprise par le modèle du système de recommandation lui-même.»
Ils énumèrent quatre avantages de leur approche :
« (1) La capacité de modèle du système de recommandation vise à prédire les préférences des utilisateurs sans essayer de prédire des informations secondaires supplémentaires (par exemple, des balises), ce qui n’améliore souvent pas les performances du système de recommandation.
(2) Le modèle du système de recommandation peut facilement prendre en charge de nouveaux attributs sans recyclage si de nouvelles sources de balises, de mots-clés ou d’expressions émergent à partir desquelles dériver de nouveaux attributs logiciels.
(3) Notre approche offre un moyen de tester si des attributs logiciels spécifiques sont pertinents pour prédire les préférences des utilisateurs. Ainsi, nous sommes en mesure de concentrer notre attention sur les attributs les plus pertinents pour capturer l’intention d’un utilisateur (par exemple, lorsqu’il s’agit d’expliquer des recommandations, d’obtenir des préférences ou de suggérer des critiques).
(4) On peut apprendre la sémantique douce des attributs/étiquettes avec des quantités relativement petites de données étiquetées, dans l’esprit de la pré-formation et de l’apprentissage en quelques étapes.
Ils fournissent ensuite une explication générale du fonctionnement du système :
« À un niveau élevé, notre approche fonctionne comme suit. Nous supposons qu’on nous donne :
(i) un modèle de type filtrage collaboratif (par exemple, factorisation matricielle probabiliste ou double encodeur) qui intègre les éléments et les utilisateurs dans un espace latent basé sur les évaluations des éléments utilisateur ; et
(ii) un (petit) ensemble de balises (c’est-à-dire des étiquettes d’attributs souples) fournies par un sous-ensemble d’utilisateurs pour un sous-ensemble d’éléments.
Nous développons des méthodes qui associent à chaque élément le degré auquel il présente un attribut souple, déterminant ainsi la sémantique de cet attribut. Pour ce faire, nous appliquons des vecteurs d’activation de concept (CAV) – une méthode récente développée pour l’interprétabilité des modèles appris par machine – au modèle de filtrage collaboratif pour détecter s’il a appris une représentation de l’attribut.
La projection de ce CAV dans l’espace d’intégration fournit une sémantique directionnelle (locale) pour l’attribut qui peut ensuite être appliquée aux éléments (et aux utilisateurs). De plus, la technique peut être utilisée pour identifier la nature subjective d’un attribut, en particulier pour savoir si différents utilisateurs ont des significations (ou des sens de balise) différentes à l’esprit lorsqu’ils utilisent cette balise. Une telle sémantique personnalisée pour les attributs subjectifs peut être vitale pour une bonne interprétation de la véritable intention d’un utilisateur lorsqu’il tente d’évaluer ses préférences.
Voir aussi: Comment fonctionne le système de recommandation de YouTube en 2025
Ce système fonctionne-t-il ?
L’une des découvertes intéressantes est que leur test d’une étiquette artificielle (année impaire) a montré que le taux d’exactitude du système était à peine supérieur à une sélection aléatoire, ce qui a corroboré leur hypothèse selon laquelle « les CAV sont utiles pour identifier les attributs/étiquettes liés aux préférences ».
Ils ont également constaté que l’utilisation des CAV dans les systèmes de recommandation était utile pour comprendre le comportement des utilisateurs « basé sur les critiques » et améliorait ces types de systèmes de recommandation.
Les chercheurs ont répertorié quatre avantages :
« (i) utiliser une représentation de filtrage collaboratif pour identifier les attributs les plus pertinents pour la tâche de recommandation ;
(ii) distinguer l’utilisation objective et subjective des balises ;
(iii) identifier une sémantique personnalisée et spécifique à l’utilisateur pour des attributs subjectifs ; et
(iv) relier la sémantique des attributs aux représentations de préférences, permettant ainsi des interactions utilisant des attributs/balises souples dans la critique d’exemples et d’autres formes d’élicitation de préférences.
Ils ont constaté que leur approche améliorait les recommandations pour les situations où la découverte d’attributs logiciels est importante. L’utilisation de cette approche pour des situations dans lesquelles les attributs durs sont plutôt la norme, comme lors de l’achat de produits, constitue un futur domaine d’étude pour voir si les attributs souples pourraient aider à formuler des recommandations de produits.
Points à retenir
Le document de recherche a été publié en 2024 et j’ai dû fouiller pour le trouver, ce qui peut expliquer pourquoi il est généralement passé inaperçu dans la communauté du marketing de recherche.
Google a testé une partie de cette approche avec un algorithme appelé WALS (Weighted Alternating Least Squares), un véritable code de production qui est un produit de Google Cloud destiné aux développeurs.
Deux notes en note de bas de page et en annexe expliquent :
« Les CAV sur les données MovieLens20M avec des attributs linéaires utilisent des intégrations qui ont été apprises (via WALS) à l’aide d’un code de production interne, qui n’est pas publiable. »
…Les intégrations linéaires ont été apprises (via WALS, Annexe A.3.1) à l’aide du code de production interne, qui n’est pas publiable.
Le « code de production » fait référence aux logiciels actuellement exécutés dans les produits destinés aux utilisateurs de Google, en l’occurrence Google Cloud. Il ne s’agit probablement pas du moteur sous-jacent de Google Discover, mais il est important de le noter car il montre avec quelle facilité il peut être intégré à un système de recommandation existant.
Ils ont testé ce système à l’aide de l’ensemble de données MovieLens20M, qui est un ensemble de données public de 20 millions d’évaluations, certains tests étant effectués avec le moteur de recommandation propriétaire de Google (WALS). Cela donne de la crédibilité à l’inférence selon laquelle ce code peut être utilisé sur un système actif sans avoir à le recycler ou à le modifier.
Ce que je retiens de ce document de recherche, c’est que cela permet aux systèmes de recommandation d’exploiter les données sémantiques sur les attributs logiciels. Google Discover est considéré par Google comme un sous-ensemble de la recherche, et les modèles de recherche font partie des données que le système utilise pour faire apparaître le contenu. Google ne précise pas s’ils utilisent ce type de méthode, mais étant donné les résultats positifs, il est possible que cette approche soit utilisée dans les systèmes de recommandation de Google. Si tel est le cas, cela signifie que les recommandations de Google pourraient être plus sensibles à la sémantique subjective des utilisateurs.
Le document de recherche crédite Google Research (60 % des crédits), ainsi qu’Amazon, Midjourney et Meta AI.
Le PDF est disponible ici :
Découverte d’une sémantique personnalisée pour les attributs logiciels dans les systèmes de recommandation à l’aide de vecteurs d’activation de concepts
