Jeff Dean a récemment expliqué les origines de Gemini, y compris la philosophie de conception qui le sous-tend. Étonnamment, Gemini était un peu en retard jusqu’à ce que ses capacités de codage soient améliorées, ce qui a ensuite amélioré la capacité de raisonnement du modèle.
L’origine des Gémeaux
Dean explique que l’origine de Gemini remonte au moment où il s’est rendu compte que plusieurs équipes travaillaient séparément vers le même objectif. Vu de l’extérieur, cela semble être une approche idiote, et c’est exactement l’idée qu’avait Dean.
L’intervieweuse, Dawn Song, a demandé :
« Alors maintenant, en repensant au développement de Gemini, qu’est-ce qui vous a le plus surpris et quelles leçons tirées de la construction de Gemini pensez-vous pouvoir partager et contribuer à façonner la prochaine génération de systèmes d’IA ?
Dean répondit :
«Je pense que Gemini est vraiment le point culminant de quelques projets de recherche antérieurs, à la fois au sein de Legacy DeepMind et de Google Brain, ainsi que d’autres parties de Google Research.
Et à ce moment-là, nous avons en quelque sorte réalisé que nous convergeions tous vers des directions très similaires, comme la formation, en essayant d’augmenter la taille des modèles que nous formions. Nous avons déployé des efforts, des efforts parallèles indépendants, pour savoir comment rendre les modèles de langage également multimodaux afin qu’ils puissent comprendre les images, etc.
Et j’ai écrit un mémo d’une page. Je me dis, c’est juste idiot. Nous devrions simplement travailler tous ensemble. Combinons nos collaborateurs, nos idées et nos ressources de calcul et formons dès le départ un modèle multimodal qui rassemble nos meilleurs collaborateurs issus de plusieurs organismes de recherche au sein de Google.
Et je pense que c’était vraiment bien.
…Et nous avons donc en quelque sorte vu un moyen de nous rapprocher à nouveau d’une collaboration plus étroite. Et je pense que cela a été une véritable réussite.
Capture d’écran de Jeff Dean
Pourquoi Gemini est multimodal
Nous savons que Gemini est multimodal, mais ce que l’on sait moins, c’est qu’il s’agit d’un effort de conception dès le début. Dean a expliqué que l’objectif de Gemini était de créer un modèle capable de comprendre l’audio, les images, le langage, le texte et d’autres formes d’informations. Mais il est intéressant de noter que c’est lorsqu’ils l’ont entraîné au codage que Gemini a connu une amélioration révolutionnaire de son raisonnement.
Jeff Dean a expliqué :
« Je pense que l’accent mis sur la création d’un modèle multimodal depuis le début a été vraiment très bon. Vous voulez que le modèle que vous allez utiliser pour tout comprenne le texte, le langage, le code, les images, les vidéos, l’audio et d’autres modalités en plus. «
Donc, par exemple, nous mettons un peu de données LiDAR dans les données de formation afin qu’il sache au moins que les données LiDAR sont une chose, car c’est un cas d’utilisation important pour, vous savez, la formation continue des modèles Gemini. C’est donc important.
Et cela a été, je pense, le succès d’une décision que nous avons prise au tout début de l’appliquer également à tous les modèles Gemini actuels. …Nous voulions que le modèle soit performant dans beaucoup de choses.
Et donc je pense que peut-être que notre objectif de rendre le codage incroyable était un peu à la traîne et nous nous en sommes rendu compte dans notre travail pour rattraper ce retard.
Et je pense que nous avons de bons efforts en cours. Mais je pense qu’en se concentrant sur cela, vous vous retrouvez avec un système capable de vraiment faire un bon travail de raisonnement et d’effectuer d’autres types de tâches qui doivent en quelque sorte se frayer un chemin en décomposant un problème complexe en plusieurs sous-éléments, etc.
Et c’est donc une bonne chose : si vous améliorez le codage, vous avez également tendance à améliorer cette capacité dans les domaines autres que le codage.
À retenir sur l’apprentissage
C’est en fait très intéressant car cela montre comment le fait de devenir un expert LLM dans un domaine entraîne des avantages dans d’autres domaines. C’est en fait un peu similaire à la façon dont les humains deviennent experts en la matière. Il y a plusieurs siècles, un maître de l’épée samouraï nommé Miyamoto Musashi encourageait l’apprentissage des arts et des professions autres que les arts martiaux. Il a utilisé la menuiserie comme exemple de la façon dont un maître charpentier comprend les outils, la planification, la façon de gérer les travailleurs et comprend la structure des bâtiments, puis mappe ces compétences et ces connaissances dans l’art martial du combat à l’épée.
L’explication de Jeff Dean sur l’origine de Gemini est utile car elle donne aux utilisateurs une meilleure compréhension de ce qu’est Gemini, créant ainsi une prise de conscience de ce qui est possible avec Gemini lorsqu’il est considéré comme un modèle multimodal, et pas seulement comme un modèle de texte génératif.
Le secret de Jeff Dean pour l’innovation et le succès
Dawn Song a demandé :
« Donc, essentiellement, ce qui ressort de votre carrière, c’est qu’un grand nombre de ces idées, de MapReduce à MOE et ainsi de suite, ont en fait pris des années avant que la communauté dans son ensemble réalise à quel point elles deviendraient importantes.
Mais vous aviez la touche Midas et vous aviez la prévoyance particulière de réellement construire et développer ces idées et ces systèmes, etc.
Je pense donc que beaucoup de personnes dans le public aimeraient savoir comment procéder ?
Comment faites-vous la distinction entre les technologies véritablement fondamentales et celles qui sont simplement à la mode ?
Et quel principe d’ingénierie est resté étonnamment intemporel tout au long de votre carrière ?
Et à mesure que l’IA passe des modèles à des agents de plus en plus autonomes, de quelles nouvelles abstractions pensez-vous que nous aurons besoin au cours des prochaines années et décennies pour notre avenir ? »
Jeff Dean a répondu :
« Je pense que j’ai peut-être eu beaucoup de chance dans ce cadre. Mais je pense aussi que l’une des choses que j’essaie de faire est de suivre de nombreuses tendances ou sujets de recherche différents que la communauté explore.
Je dis souvent aux étudiants qu’il est préférable de parcourir 10 articles plutôt que d’en lire un en détail, car vous obtenez alors en quelque sorte 10 points dans votre nuage de ce qui pourrait être possible, voire même 100 résumés.
Parce que ce que vous voulez pouvoir faire, c’est relier des idées importantes qui n’ont pas encore été connectées.
Et parfois, lorsque vous pensez à un problème difficile, si vous avez en tête certaines de ces choses qui commencent vaguement à être possibles, cela peut vous aider à élaborer une solution complète à un problème où, au lieu de ressembler à sept problèmes insolubles, vous pouvez plisser les yeux et dire, d’accord, eh bien, ces cinq choses, je sais qu’il y a une sorte de travail vague en cours qui semble important et qui pourrait peut-être résoudre certaines des choses.
Ensuite, il y a deux sortes de choses supplémentaires que je ne sais pas comment faire. Mais si je travaille dur dessus, je peux imaginer les résoudre.
Et parfois, il est très important de faire des choses qui constituent des améliorations progressives par rapport à ce que nous faisons actuellement, mais vous voulez rechercher les choses qui sont, vous savez, peut-être des manières très différentes de faire les choses qui pourraient être possibles ou qui pourraient l’être bientôt.
…J’ai fait un tas de choses qui n’ont pas bien fonctionné, donc c’est aussi un bon conseil. Essayez beaucoup de choses qui pourraient ne pas fonctionner. Certains d’entre eux le feront.
