Pourquoi les modèles du monde sont entrés dans la course aux humanoïdes

En 2024, Google DeepMind a entraîné un modèle nommé Genie sur des dizaines de milliers d’heures de vidéo issue d’internet montrant des gens jouer à des jeux de plateforme 2D. Personne n’a annoté la moindre image avec l’effet du bouton de saut. Pourtant, il suffit de donner au modèle entraîné une seule image fixe pour jouer : on appuie à gauche et le personnage marche vers la gauche, la scène défile, la gravité le ramène vers le bas. Aucun moteur de jeu en dessous, seulement un réseau qui a appris comment les pixels tendent à suivre les actions de celui qui tenait la manette.

Ce tour de passe-passe a un nom sérieux et une finalité sérieuse. Un modèle du monde est un prédicteur appris de la façon dont une scène va évoluer, éventuellement conditionné par une action. Le domaine des humanoïdes le convoite ardemment pour une raison brutale : les démonstrations sur robot réel sont lentes et coûteuses, et la vidéo n’est ni l’un ni l’autre. Open X-Embodiment a rassemblé de l’ordre d’un million de trajectoires de robots réels sur 22 machines différentes, et cela reste une erreur d’arrondi face aux milliards d’heures d’activité humaine déjà présentes sur internet. Si l’on parvient à apprendre à partir de vidéo des a priori façonnés par la physique, sans robot dans la boucle de capture, on contourne le goulet d’étranglement.

Voilà la promesse, et voilà pourquoi les modèles du monde sont passés, en dix-huit mois environ, d’une curiosité de recherche à une ligne budgétaire sur presque chaque feuille de route d’humanoïde. Le hic est plus discret. Un modèle qui prédit à quoi ressemble l’image suivante n’est pas la même chose qu’un modèle qui sait ce que l’on ressentirait à provoquer cette image. La vidéo passive omet précisément les signaux dont un contrôleur a besoin pour fonctionner. Cet article explique pourquoi ce virage a eu lieu, et où l’apprentissage à partir de vidéo arrive en bout de course.

Ce qu’est vraiment un modèle du monde

Le terme recouvre au moins trois machines différentes, et les confondre est à l’origine de la plupart des malentendus.

Le premier est un simulateur appris. Dans la lignée Dreamer de l’apprentissage par renforcement fondé sur un modèle, un agent entraîne un modèle compact de son environnement, puis planifie en déroulant ce modèle en imagination, à moindre coût et plus vite qu’en touchant au monde réel. Le deuxième est le préentraînement de représentation : prédire les images futures ou les plongements futurs, à la manière des architectures prédictives à plongement conjoint, et conserver les caractéristiques qui en ressortent comme épine dorsale visuelle pour le contrôle. Le troisième est un prédicteur de vidéo conditionné par l’action, un simulateur neuronal qui génère quelques secondes plausibles à venir étant donné une action candidate, puis se sert de ces futurs pour évaluer des plans ou synthétiser des données d’entraînement. Les modèles de fondation du monde Cosmos de NVIDIA, câblés dans la pile GR00T du GEAR Lab, relèvent pleinement de cette troisième catégorie.

La distinction qui compte le plus oppose le passif au conditionné par l’action. Un modèle passif répond à la question de ce qui se passe ensuite. Un modèle conditionné par l’action répond à la question de ce qui se passe ensuite si je fais quelque chose de précis. Seul le second est directement utile au contrôle, et le second est bien plus difficile à entraîner, car internet regorge du premier type de vidéo et n’en contient presque aucune du second.

Pourquoi les laboratoires d’humanoïdes se sont tournés vers la vidéo

Suivez l’économie. Une trajectoire de robot téléopéré coûte un opérateur, une machine et du temps réel écoulé. Une vidéo humaine coûte un téléchargement. L’écart se chiffre en plusieurs ordres de grandeur, et il ne pointe que dans une seule direction.

Aussi les manœuvres sont-elles venues vite. NVIDIA a publié Cosmos comme une plateforme de modèle du monde ouvertement accessible, visant précisément ce problème de préentraînement. 1X Technologies a organisé un défi public de modèle du monde, demandant aux chercheurs de prédire les images futures de son robot domestique à partir des précédentes. Toyota Research Institute s’est appuyé sur un préentraînement large pour ses grands modèles de comportement, et Google DeepMind a intégré un a priori entraîné sur vidéo dans le raisonnement de Gemini Robotics. Le V-JEPA de Meta a poussé la voie de la représentation, en prédisant dans l’espace des plongements plutôt qu’en pixels. Des paris différents, une thèse commune : laisser la vidéo fournir un a priori sur la façon dont les objets bougent et dont les gens les manipulent, puis ne dépenser les rares données de robot qu’à aligner cet a priori sur un corps précis.

Ce que la vidéo enseigne, et ce qu’elle omet en silence

La vidéo passive est réellement riche. Elle porte la dynamique de l’apparence, le mouvement des objets et de la scène, et une immense distribution d’affordances humaines : la façon dont les gens saisissent réellement une tasse, calent un carton ou stabilisent une planche à découper de la main libre. Ce sont exactement les a priori qu’une politique de manipulation peine à recueillir par elle-même.

Ce que la vidéo ne porte pas, c’est l’autre moitié du contrôle. Elle ne consigne pas la commande qui a produit le mouvement, ni les forces de contact au bout des doigts, ni la proprioception, ni le signal tactile, et souvent aucune 3D fiable. Pire, un modèle vidéo est entraîné à avoir l’air juste, pas à être juste. Il optimise la plausibilité visuelle, si bien qu’il rendra sans hésiter une tasse qui glisse sans frottement ou un doigt qui traverse une poignée, parce que ces images sont parfaitement crédibles. La justesse physique n’est pas dans sa fonction de perte.

L’annotation d’action est la partie coûteuse

Le véritable écart n’est ni la résolution ni le nombre d’heures, c’est l’action. La vidéo passive est une donnée d’observation : elle montre ce qui s’est passé. Le contrôle a besoin d’une donnée d’intervention : ce qui se passe si je pousse ici plutôt que là. Cette différence, c’est le vieux mur entre corrélation et causalité, et aucune quantité de YouTube supplémentaire n’y remédie, car le contrefactuel n’a jamais été enregistré.

Les jeux de données qui le comblent sont petits pour cette raison même. Open X-Embodiment, DROID et RH20T ont de la valeur parce qu’un humain se trouvait dans la boucle et que l’action était consignée en même temps que les pixels. Ego-Exo4D va plus loin, en associant une vue à la première personne à des caméras à la troisième personne synchronisées et à des annotations denses d’étapes et d’actions, de sorte que le même mouvement est lisible depuis les yeux de celui qui agit comme depuis l’extérieur. Chacun d’eux a exigé une capture délibérée, ce qui explique précisément pourquoi ils totalisent des milliers d’heures et non des milliards.

Il existe une seconde taxe, plus subtile. Déroulez un modèle appris sur un long horizon et les petites erreurs de prédiction à chaque pas s’accumulent. Sans retour ancré dans le réel pour corriger la dérive, un déroulé imaginé qui paraît correct pendant une seconde devient absurde à la dixième. Un a priori peut lancer une politique. Il ne peut pas, à lui seul, la maintenir honnête.

Un modèle du monde entraîné sur vidéo apprend à quoi ressemble l’image suivante. Le contrôle, lui, a besoin de savoir ce que l’on ressentirait à provoquer l’image suivante, et ce signal n’a jamais été dans les pixels.

Comment les deux moitiés s’emboîtent

Posé comme vidéo contre données de robot, le débat est un faux choix. Le schéma qui fonctionne dans les systèmes les plus solides est un empilement : préentraîner large, sur de la vidéo et des représentations apprises, pour l’a priori, puis affiner étroit, sur des démonstrations conditionnées par l’action et riches en contacts, pour le dernier kilomètre. Les grands modèles de comportement de Toyota, le pi-zero de Physical Intelligence et Gemini Robotics suivent tous une version de cette recette en deux étapes. La moitié vidéo devient moins chère chaque trimestre. L’ingrédient rare et décisif, c’est l’autre moitié : la démonstration à la première personne, conditionnée par l’action et dotée d’annotations de force, qui indique au modèle non seulement ce que le monde a fait, mais ce qu’un corps lui a fait.

Les modèles du monde sont la bonne réponse à une rareté réelle, et ils continueront de mieux prédire les pixels. Mais l’humanoïde qui parviendra réellement à sortir sera celui dont le modèle du monde aura été corrigé par des données qui savaient quelle était l’action. La vidéo montre le monde à un robot. Il faut encore quelque chose pour lui montrer la différence entre regarder et faire.