Les modèles vision-langage-action : une introduction accessible

En 2023, un bras robotisé de Google se tenait devant une table couverte d’objets, dont une figurine de dinosaure en plastique. L’instruction orale était volontairement étrange. Non pas « prends le dinosaure », mais « prends l’animal disparu ». Le bras s’est étiré au-dessus de la table et a refermé sa pince sur la figurine de dinosaure. Personne n’avait écrit de règle associant « animal disparu » à « dinosaure », et aucun roboticien n’avait annoté ce jouet à la main. Le modèle, appelé RT-2, avait assimilé cette association à partir des mêmes données d’images et de texte à l’échelle du web qui apprennent à un agent conversationnel ce qu’est un dinosaure, et il avait appris à acheminer cette connaissance vers une commande motrice.

Cette démonstration, publiée par Google DeepMind, est l’illustration la plus limpide de ce à quoi sert un modèle vision-langage-action, ou VLA. Un VLA est un réseau de neurones unique qui lit les pixels d’une caméra et une phrase, puis émet les commandes de bas niveau qui font bouger un robot. Ce qui est intéressant, ce n’est pas l’étiquette astucieuse. C’est le câblage : comment un système conçu pour décrire des images finit par produire des mouvements articulaires, et pourquoi cela surpasse les pipelines conçus à la main qui ont dominé la robotique pendant des décennies.

Ce guide parcourt ce câblage sans les mathématiques. Ce que le modèle voit, d’où vient son sens du langage, comment une brève instruction devient un flux de commandes motrices et, tout aussi important, là où l’approche tout entière se disloque encore.

Un seul réseau au lieu de trois boîtes

L’autonomie robotique classique était une course de relais entre spécialistes. Un module de perception traçait des cadres autour des objets. Un planificateur transformait ces cadres en une trajectoire. Un contrôleur suivait la trajectoire. Chaque étape était conçue et réglée à la main, et chaque jointure entre les étapes était un point de défaillance possible. Un VLA condense ce relais en une seule fonction apprise. Un réseau lit la scène, lit l’instruction et produit des actions, entraîné à partir d’exemples plutôt qu’assemblé à partir de pièces.

Concrètement, l’entrée est une poignée d’images de caméra plus une chaîne de texte comme « mets la tasse dans l’évier ». Les images passent par un encodeur visuel, généralement un vision transformer, qui transforme les pixels en une grille de vecteurs de caractéristiques. Les mots sont tokenisés de la même manière que n’importe quel modèle de langage tokenise du texte. Les deux flux convergent vers un transformer préentraîné à raisonner conjointement sur les images et le texte. Ce qui en sort n’est pas une légende. C’est une action.

Au départ, le squelette était un agent conversationnel

Si un VLA peut réagir à « l’animal disparu », c’est parce qu’il ne naît pas modèle robotique. Il commence comme un modèle vision-langage, ou VLM, préentraîné sur d’énormes quantités d’images et de texte issus d’internet. C’est de ce préentraînement que proviennent les noms d’objets, les relations spatiales et un sens commun physique approximatif. Ce n’est qu’ensuite que le modèle est affiné sur des données robotiques, où il apprend à rattacher cette compréhension à des actions.

La filiation est facile à retracer. RT-2 s’appuyait sur les squelettes PaLI-X et PaLM-E de Google. Gemini Robotics s’appuie sur Gemini 2.0. Le π0 de Physical Intelligence associe un modèle vision-langage PaliGemma à un module d’action dédié. L’Isaac GR00T N1 de NVIDIA scinde la tâche en un système lent et délibératif bâti sur un VLM et un système rapide et réactif qui génère le mouvement. Le schéma est constant : conserver le cerveau à l’échelle d’internet, y greffer une manière de bouger.

La subtilité tient à ne pas oublier. Affinez trop fortement sur un ensemble étroit de démonstrations robotiques et le modèle perd le vaste savoir qui le rendait utile au départ. Les équipes contrent cela par le co-fine-tuning, en réinjectant les données robotiques dans les données web d’origine afin que les compétences de langage et de vision survivent au transfert.

Un VLA n’apprend pas vraiment à bouger. Il apprend à associer ce qu’il voit et entend à ce qui a déjà fonctionné, puis parie que cette association tiendra une démonstration plus loin que tout ce qui figure dans son jeu d’entraînement.

Transformer l’intention en couple

Un robot a besoin de nombres : angles articulaires, ouvertures de pince, vitesses de l’effecteur terminal, plusieurs fois par seconde. Il existe deux grandes façons pour un VLA de les produire.

La première consiste à traiter les actions comme du langage. RT-2 découpe chaque degré de liberté en quelques centaines d’intervalles et réutilise des tokens de texte rarement employés pour les représenter, si bien que prédire une action est littéralement la même opération que prédire un mot. Net, mais grossier, et lent à émettre de longues séquences. La seconde approche garde les actions continues et les génère par un processus de diffusion ou de flow matching, la même famille de méthodes que celle des générateurs d’images. Le π0 utilise le flow matching pour produire des blocs d’action fluides et à haute fréquence, et les Large Behavior Models du Toyota Research Institute recourent à la diffusion pour la même raison.

Les deux approches prédisent désormais tout un bloc d’actions futures d’un coup plutôt qu’un pas à la fois, une astuce popularisée par l’action chunking, qui lisse le mouvement et masque la latence d’un grand modèle. Elle le doit. Un réseau d’un milliard de paramètres ne peut pas s’exécuter à chaque cycle de contrôle, aussi le système prédit-il une courte salve de mouvement, l’exécute, puis replanifie. Faire tourner cette boucle à quelques dizaines de hertz sur du matériel réel constitue une bonne part de l’ingénierie.

Le problème de données auquel personne n’échappe

Les modèles de langage disposaient de l’internet public. Les robots n’ont rien de comparable. Un VLA n’est jamais plus général que les démonstrations qu’il a vues, et les démonstrations de haute qualité se collectent un épisode téléopéré à la fois. La réponse du domaine, jusqu’ici, a été de mutualiser.

Open X-Embodiment a rassemblé plus d’un million de trajectoires couvrant 22 types de robots issus de plus de 20 laboratoires, et les modèles entraînés sur ce mélange généralisaient mieux que ne le permettait le jeu de données d’un seul laboratoire. DROID y a ajouté environ 76 000 démonstrations téléopérées enregistrées dans des centaines de scènes sur trois continents. Un pari différent consiste à apprendre des humains : Ego-Exo4D et Ego4D capturent des milliers d’heures de vidéo humaine à la première personne, bien moins coûteuses à collecter que la téléopération de robots mais porteuses d’un écart d’incarnation, puisqu’une main humaine n’est pas une pince à deux doigts.

Là où les VLA échouent encore

À regarder les montages de démonstrations, les VLA semblent un problème résolu. Regardez-en un opérer dans une cuisine inconnue et l’illusion se fissure. La généralisation est réelle mais étroite : changez l’éclairage, la hauteur de la caméra ou l’encombrement de l’arrière-plan, et les taux de réussite peuvent chuter brutalement. Les tâches à long horizon, celles qui comptent dix étapes interdépendantes, restent difficiles, car une petite erreur initiale s’amplifie en échec plus tard. Et l’évaluation elle-même est une crise silencieuse. Les taux de réussite en conditions réelles sont coûteux à mesurer, bruités d’un essai à l’autre et difficiles à reproduire d’un laboratoire à l’autre, ce qui rend la comparaison honnête entre modèles véritablement ardue.

Rien de tout cela n’est une raison d’être pessimiste. C’est une carte de là où se situe le travail. La question de l’architecture est à peu près tranchée : préentraîner un VLM, y rattacher un décodeur d’action, découper les sorties en blocs. Les questions ouvertes portent sur les données et la fiabilité, et toutes deux ramènent au même endroit.

La prochaine fois qu’un robot ramassera l’animal disparu, regardez au-delà du tour de force. Demandez ce qu’on lui a montré, par qui, et avec quel soin cela a été enregistré. Cette réponse, davantage que n’importe quel schéma d’architecture, vous dira ce que la machine sait réellement faire.