Qu’est-ce qu’un modèle de fondation robotique ? Les VLA expliqués
GR00T, pi0 et Gemini Robotics sont des modèles de fondation robotiques, pas des chatbots. Ce qu’est un VLA, en quoi il diffère d’un LLM, et pourquoi les données sont la vraie difficulté.
Demandez à un chatbot comment plier une chemise et il vous tendra une liste numérotée bien ordonnée. Demandez à un bras robotisé exécutant ce même chatbot de plier réellement la chemise, et rien ne se passe. Les mots sont tous là. La chemise est exactement là où elle était. Quelque part entre le paragraphe et le tissu, l’intelligence s’épuise.
Combler cet écart, c’est tout le projet qui sous-tend un modèle de fondation robotique. Un système comme l’Isaac GR00T de NVIDIA, le pi0 de Physical Intelligence ou le Gemini Robotics de Google DeepMind n’est pas un chatbot auquel on aurait boulonné des bras. C’est un autre type de modèle, entraîné sur un autre type de données, et jugé par un test plus brutal : l’objet a-t-il réellement bougé.
Le raccourci pour cette famille est VLA, abréviation de vision-language-action model, soit modèle vision-langage-action. Le nom dit tout. Il lit des pixels, il lit une instruction en langage clair, et au lieu d’émettre une phrase, il émet une action. C’est dans cette troisième lettre que réside la difficulté.
Ce que le mot fondation promet
Emprunté au langage, le terme modèle de fondation porte une promesse précise : entraîner un seul grand modèle sur des données larges, puis l’adapter à de nombreuses tâches sans repartir de zéro. Dans le texte, cette promesse a largement été tenue. Un même modèle de base rédige aujourd’hui des e-mails, écrit du code et répond à des questions juridiques moyennant un peu d’orientation.
La robotique veut le même effet de levier. Une seule policy pré-entraînée que l’on peut pointer vers une nouvelle cuisine, une nouvelle pièce, une nouvelle pince, avec une quantité modeste de données propres à la tâche plutôt qu’un nouveau projet de plusieurs années à chaque fois. Voilà l’argument. Le monde physique se montrera-t-il aussi généreux envers cette idée que le texte l’a été, cela reste une question ouverte, et elle est mise à l’épreuve en ce moment même.
Des mots aux commandes moteur
Commençons par ce qui ne change pas. Un VLA et un grand modèle de langage partagent l’essentiel de leur tuyauterie. Les deux sont généralement des transformers. Les deux sont pré-entraînés sur un vaste corpus, puis alignés. De nombreux VLA sont construits directement au-dessus d’un modèle vision-langage pré-entraîné, de sorte que le robot arrive en sachant déjà ce qu’est une tasse et ce que signifie l’expression « à côté de », avant même qu’on lui demande de déplacer quoi que ce soit.
La bifurcation se produit à la sortie. Un LLM prédit le prochain token de texte. Un VLA prédit la prochaine action : un ensemble d’angles articulaires, une pince qui s’ouvre ou se ferme, une légère poussée du poignet, des dizaines de fois par seconde. Le RT-2 de Google a rendu ce passage lisible en traitant les actions du robot comme une langue de plus que le modèle pouvait apprendre à parler. Le même réseau capable de nommer les objets sur une table pouvait aussi produire les nombres qui dirigeaient une main vers l’un d’eux. Gemini Robotics est le descendant actuel de cette lignée.
Pourquoi un VLA n’est pas un LLM doté de bras
Le partage d’architecture masque à quel point la tâche est différente. Mettez les deux côte à côte et la divergence saute aux yeux.
| Propriété | Modèle de langage | Modèle vision-langage-action |
|---|---|---|
| Sortie | Le prochain token de texte | La prochaine action moteur : angles articulaires, état de la pince |
| Boucle | Boucle ouverte, une réponse et c’est fini | Boucle fermée, redécision de nombreuses fois par seconde |
| Horloge | Une réponse lente n’est qu’agaçante | 200ms de retard et la tasse est par terre |
| Données d’entraînement | Du texte que l’humanité a déjà écrit | Des démonstrations que quelqu’un doit enregistrer physiquement |
| Une mauvaise réponse | Une correction, une nouvelle tentative | Un verre lâché, une pièce tordue, un incident de sécurité |
| Incarnation | Aucune ; le texte est du texte partout | Liée aux articulations, à l’allonge et à la main d’un corps précis |
Parcourez la colonne de droite et les ennuis s’accumulent. Un VLA fonctionne en boucle fermée : il agit, le monde change, il regarde de nouveau, il agit de nouveau, et il doit tenir ce rythme en temps réel pendant que la friction et le contact font des choses qu’aucune légende n’avait anticipées. Il est lié à un corps, si bien qu’une compétence apprise sur un robot ne survit pas automatiquement à un passage vers un autre aux bras différents. Et il n’a pas de fonction annuler. Ce dernier point n’est pas un détail.
Un modèle de langage peut se tromper et vous appuyez sur réessayer. Un modèle de fondation robotique qui se trompe a déjà fait tomber le verre de la table. Rien dans le monde physique n’est livré avec un bouton d’annulation.
Les modèles qu’il vaut la peine de connaître par leur nom
Trois points de repère couvrent la plupart des conversations. L’Isaac GR00T de NVIDIA vise les humanoïdes et s’appuie fortement sur la simulation et le mouvement synthétique pour fabriquer des données d’entraînement en volume. Le pi0 de Physical Intelligence est une policy cross-embodiment, multi-incarnation, conçue pour absorber les démonstrations de nombreux robots différents et généraliser d’un matériel à l’autre. Gemini Robotics, de Google DeepMind, place une solide ossature vision-langage derrière la tête d’action, de sorte qu’une large connaissance du web se transmet aux tâches physiques. Ils diffèrent par l’accent, non par la nature. Les trois sont des VLA. Les trois parient qu’une policy générale l’emporte sur un millier de scripts réglés à la main.
Pourquoi la difficulté tient aux données, pas à l’architecture
Voici le retournement qui surprend ceux qui ont l’habitude des modèles de langage. Les architectures sont en grande partie partagées et en grande partie publiques. Vous pouvez lire les articles. Le verrou n’est pas une conception de réseau secrète. Ce sont les données.
Le texte a changé d’échelle parce qu’internet est un sous-produit de la communication entre les gens ; l’ensemble d’entraînement s’est écrit tout seul. Il n’existe pas de rejet équivalent pour la manipulation. Personne ne portait un rig de capteurs, n’enregistrait la force et la pose de la main, en chargeant dix mille lave-vaisselle. Cet enregistrement doit être produit délibérément. Des initiatives comme Open X-Embodiment ont mis en commun les démonstrations de robots de dizaines de laboratoires, et des stacks ouverts comme le LeRobot de Hugging Face ont abaissé la barrière à en collecter et en partager davantage, mais les totaux restent minuscules face à ce qu’un modèle de texte engloutit sans même le remarquer. Le modèle ne peut imiter que ce qu’on lui a montré. Montrez-lui trop peu du monde physique et il demeure un système très éloquent, incapable de plier la chemise.
Ainsi, un modèle de fondation robotique n’est pas un modèle de langage qui a appris à bouger. C’est un pari : l’intelligence du monde physique peut être entraînée comme l’a été l’intelligence du texte, un grand modèle, des données larges, puis l’adaptation. La question de l’architecture est en grande partie résolue. Celle qui reste ouverte est de savoir si nous pouvons rassembler suffisamment de bonnes démonstrations pour rendre le pari payant, et c’est un problème que l’on résout avec des capteurs et de la patience, non avec un réseau plus astucieux.