Gemini Robotics, expliqué : le raisonnement incarné dans un VLA

Demandez à un bras Gemini Robotics de débarrasser une table encombrée en triant vers les bons bacs, et il se passe quelque chose d’inhabituel avant qu’il ne bouge. Le modèle rédige un bref plan en langage clair : la banane est un fruit, elle part au compost ; le ticket de caisse froissé est du papier, il part au recyclage ; le téléphone n’est ni l’un ni l’autre, on n’y touche pas. Ce n’est qu’ensuite que les pinces se mettent en marche. Cette pause lisible, un robot qui raisonne à voix haute avant de toucher quoi que ce soit, est le signe le plus clair de ce vers quoi Google DeepMind travaille depuis un moment.

Le choix de conception surprenant, c’est que Gemini Robotics n’est pas un seul modèle. DeepMind a livré une paire : un modèle vision-langage-action qui émet des commandes moteur, et un modèle de raisonnement distinct, Gemini Robotics-ER, où ER signifie embodied reasoning (raisonnement incarné). Cette séparation est tout l’argument. La difficulté d’une politique de robot polyvalent n’est pas de produire des angles articulaires ; c’est de savoir où se trouve la tasse, quel bord saisir, ce qui se passe si l’on pousse la pile, et dans quel ordre agir. Le pari de DeepMind est que cette compréhension du monde mérite d’être isolée dans son propre composant, que l’on peut pré-entraîner une fois puis réutiliser.

Cet article détaille le fonctionnement de ce découpage : ce que le raisonnement incarné ajoute par-dessus un simple modèle multimodal, comment la moitié qui raisonne et la moitié qui agit dialoguent, et où la conception se révèle payante et où elle atteint ses limites. Il s’adresse à ceux qui savent déjà ce qu’est un VLA et veulent l’architecture, pas la vidéo de lancement.

Deux modèles, un robot

Gemini Robotics a débuté comme une extension d’action de Gemini 2.0. La base est un grand modèle multimodal qui lit déjà les images et le texte ; DeepMind y a ajouté l’action physique comme modalité de sortie, de sorte que le même réseau qui sait décrire une scène peut aussi proposer comment s’y déplacer. C’est le VLA. Livré seul, il s’appuie fortement sur de vraies démonstrations téléopérées, avec la plateforme bimanuelle ALOHA 2 comme corps principal sur lequel il a appris.

Gemini Robotics-ER est l’autre moitié, un modèle vision-langage affiné jusqu’à ce que son image du monde soit assez nette pour piloter un robot : détection d’objets 2D et 3D, désignation d’une pièce nommée par une coordonnée en pixels, prédiction d’une prise, esquisse d’une trajectoire, et mise en correspondance d’un même objet à travers plusieurs vues de caméra. Ce ne sont pas des talents abstraits. Chacun correspond à une question à laquelle un contrôleur doit répondre avant de pouvoir agir. Un simple modèle conversationnel peut vous dire qu’une tasse a une anse ; ER peut vous dire quels pixels l’anse occupe et où une pince doit se refermer.

Ce que le raisonnement incarné vous apporte

Si DeepMind n’a pas simplement braqué Gemini 2.0 sur une pince, c’est que le pré-entraînement linguistique apprend à un modèle à parler du monde, pas à y localiser les choses avec la précision qu’exige un moteur. Le raisonnement incarné est la couche qui comble cet écart. Il est spatial (où, à quelle distance, dans quelle orientation), physique (ce qui est rigide, ce qui va basculer, ce qui se trouve derrière quoi) et temporel (ce qui doit se produire avant quoi).

Parce que cette couche est un modèle plutôt qu’une pile de perception réglée à la main, elle hérite de la généralité du modèle de base. Vous pouvez l’interroger sur des objets et des agencements qu’elle n’a jamais vus dans aucun jeu de données de robotique, et bien souvent elle saura encore pointer, encore estimer, encore ordonner les étapes, parce que le Gemini sous-jacent a rencontré le concept quelque part. C’est là le gain à bâtir le raisonnement sur un modèle de fondation plutôt qu’à greffer un détecteur sur une politique : la longue traîne des objets étranges et des instructions étranges est prise en charge par le transfert, pas par davantage d’annotations.

Le pari est que le raisonnement incarné est une capacité que l’on pré-entraîne une fois et que l’on réutilise d’un robot à l’autre, et non une compétence que l’on arrache une machine et une cuisine à la fois.

Penser avant d’agir

La génération 1.5 a rendu ce découpage explicite. Gemini Robotics 1.5 produit une chaîne interne de raisonnement en langage naturel avant de s’engager dans la moindre action, la pensée visible qui ouvre cet article. Son partenaire, Gemini Robotics-ER 1.5, est promu au rang d’orchestrateur : il prend un objectif de haut niveau, le décompose en étapes, peut appeler des outils numériques comme la recherche web pour combler une lacune de connaissance, et confie chaque sous-tâche concrète au modèle d’action pour exécution. Un modèle planifie et raisonne ; l’autre se déplace.

Deux conséquences comptent. D’abord, le raisonnement est lisible, ce qui rend les échecs plus faciles à diagnostiquer : vous pouvez lire le plan et voir si l’erreur logeait dans la réflexion ou dans les mains. Ensuite, des compétences apprises sur un corps peuvent passer à un autre. DeepMind décrit le transport de compétence entre incarnations, du dispositif bimanuel ALOHA 2 aux bras Franka bimanuels et à l’humanoïde Apptronik Apollo, sans réentraîner chacun de zéro. Le transfert entre incarnations est le même problème que Open X-Embodiment a posé pour tout le domaine : mutualiser l’expérience entre différents robots pour qu’une politique ne soit pas prisonnière d’un seul châssis.

La famille, et comment elle se compare

Fin 2025, la gamme comptait quatre membres notables, et les lire ensemble révèle la trajectoire qui va de la démo cantonnée au cloud vers quelque chose que l’on pourrait mettre en production.

Comparée à ses pairs, la conception se lit comme un contraste délibéré. Isaac GR00T de NVIDIA s’appuie sur la simulation pour fabriquer des données d’entraînement en volume. Physical Intelligence mutualise de la vraie téléopération sur de nombreux types de robots dans une politique unique. Le geste distinctif de DeepMind est orthogonal aux deux : garder les données réelles, mais isoler le raisonnement de l’action pour que le modèle du monde, coûteux à apprendre, soit partagé, et laisser une tête d’action plus petite se spécialiser par corps.

Là où le bât blesse

Un système à deux étages, cerveau et corps, achète de la clarté et la paie en latence et en coordination. Un planificateur qui raisonne en texte, appelle parfois un outil, puis délègue à un modèle d’action est plus lent qu’une politique réflexe unique, ce qui explique précisément l’existence d’un VLA embarqué : une partie de la boucle doit tourner localement, à la cadence du moteur, sans aller-retour vers le cloud. Il y a en dessous une question de répartition des tâches, aussi : décider dans quelle mesure faire confiance au plan plutôt qu’aux réflexes quand les deux divergent.

La généralisation a elle aussi ses limites. Le raisonnement incarné se transfère remarquablement d’un objet à l’autre, mais un modèle de raisonnement peut encore se tromper avec assurance sur une physique dont il n’a fait que lire la description, et un plan lisible qui est faux reste faux. DeepMind associe ces sorties à un travail de sûreté, dont le banc d’essai ASIMOV, chargé de juger si les décisions d’un modèle sont sûres sur les plans physique et sémantique, un aveu discret qu’un modèle assez habile pour planifier l’est aussi assez pour planifier ce qu’il ne devrait pas.

Ce qu’il faut surveiller

La question intéressante n’est pas de savoir si Gemini Robotics sait plier un renard en origami sur une scène de démonstration. C’est de savoir si la séparation entre raisonnement et action tient à mesure que les tâches s’allongent et que les robots deviennent moins chers. Si le raisonnement incarné est vraiment une couche réutilisable, le même cerveau devrait animer un bras d’entrepôt comme un humanoïde domestique, avec pour l’essentiel une simple nouvelle tête d’action entre les deux. Sinon, le domaine glissera discrètement de nouveau vers un modèle par robot, par pièce. Surveillez les résultats de transfert, pas les montages d’extraits.