Enseigner aux robots à partir de vidéos internet : promesses et limites

Chaque minute, l’internet gagne des milliers d’heures de vidéos fraîches, et ce n’est là qu’une estimation sur une seule tranche de ce flux. Quelque part dans cette masse, en ce moment même, quelqu’un se filme en train de couper un oignon, de changer un pneu, de plier un drap-housse, de forcer avec un torchon un couvercle de bocal coincé. Des milliards d’heures sont déjà là : un registre continu de mains humaines accomplissant presque toutes les tâches qu’un robot domestique sera un jour amené à réaliser. Pour quiconque cherche à entraîner un robot, cela ressemble au jackpot, le corpus à l’échelle du texte que la manipulation n’a jamais eu.

L’attrait pour ce corpus tient en réalité à une analogie avec le langage. Les grands modèles de langage sont devenus performants parce que l’humanité avait déjà écrit l’internet, et que chaque page constituait un exemple d’entraînement gratuit, produit pour une tout autre raison. La manipulation robotique est née sans cet héritage : personne n’instrumente sa cuisine pendant qu’il cuisine. La vidéo web apparaît comme le substitut le plus proche que l’on puisse trouver. Le raisonnement est le suivant : pré-entraîner sur toute cette masse en perpétuel bouillonnement, et une politique arrive en ayant regardé toute une vie d’êtres humains manipuler le monde physique.

Cela fonctionne à moitié, et cette moitié compte. La vidéo web constitue l’un des a priori les plus riches de la robotique, et tout programme humanoïde sérieux s’appuie désormais dessus. Mais un mur traverse le milieu de ce jackpot, et ce n’est pas un mur de quantité. Un clip montrant une main en train d’accomplir une tâche passe à côté de la seule chose qu’un robot a le plus besoin de reproduire : ce que la main a réellement fait. Cet article porte sur ce que l’internet offre gratuitement à un robot, et sur l’ingrédient qu’aucun volume de scraping ne pourra jamais contenir.

Le repas gratuit existe bien

Commençons par la bonne nouvelle, car elle est substantielle. Un modèle pré-entraîné sur de la vidéo internet apprend des choses qu’il est réellement difficile d’obtenir autrement.

A priori visuels et sur les objets. Après suffisamment de séquences, un réseau sait à quoi ressemblent un tiroir, un bouchon de bouteille, une fermeture éclair, un fouet, sous tous les angles et tous les éclairages. Il porte en lui une image interne des objets qu’un robot rencontrera, avant même que le robot n’en rencontre un seul.

A priori sémantiques et d’activité. L’internet a montré au modèle des gestes de versement, de pliage et d’essuyage des dizaines de milliers de fois, avec l’ordre dans lequel les étapes se succèdent et l’aspect d’une tâche achevée. C’est une carte de l’activité humaine qu’une politique ne pourrait jamais construire à partir de quelques centaines de démonstrations en laboratoire.

Dynamique grossière. L’eau tombe, une balle lâchée rebondit, un sac souple s’affaisse, une boîte rigide non. Observées à grande échelle, ces régularités deviennent un a priori de forme physique, exactement la matière première dont sont faits les modèles du monde désormais centraux dans le domaine. Le GEAR Lab de NVIDIA s’appuie sur de la vidéo humaine et internet, ainsi que sur des trajectoires synthétiques, pour amorcer les compétences humanoïdes de sa pile Isaac GR00T, précisément afin de capitaliser ces a priori avant de dépenser la moindre démonstration robotique.

Affordances humaines. La façon dont les gens saisissent réellement une tasse par l’anse, calent une boîte contre leur hanche, stabilisent une planche à découper avec la main libre. Ces habitudes sont denses dans la vidéo web et rares presque partout ailleurs.

Le mur : l’internet montre le résultat, pas l’action

Vient maintenant le déficit, et il est structurel plutôt que réparable à coup d’heures supplémentaires. La vidéo web est observationnelle. Elle enregistre l’aspect d’une scène, jamais ce que la personne a commandé à son corps de faire. Quatre éléments manquent à l’appel, et un robot en a besoin des quatre.

L’étiquette d’action a disparu. Un contrôleur apprend en régressant vers une cible : à partir de cette observation, produire ce mouvement. La vidéo web vous donne l’observation et vous prive de la cible. La trajectoire articulaire, la fermeture des doigts, la synchronisation liée à une boucle de commande, rien de tout cela n’a été enregistré, parce que la caméra visait le résultat, sans être reliée à celui qui bougeait.

Force et proprioception ont disparu. Les trois newtons de préhension qui empêchaient le verre de glisser, le poids d’une bouilloire pleine, l’instant où le contact commence, le retour tactile des extrémités des doigts, tout cela est invisible pour un objectif. On ne peut pas inférer, à partir de pixels, une grandeur que les pixels n’ont jamais encodée.

Les mains elles-mêmes ne sont qu’une supposition. On peut estimer la pose d’une main à partir d’une vidéo, mais ce n’est qu’une estimation : bruitée, ambiguë en échelle, et occultée précisément quand cela compte le plus, dans les derniers centimètres où les doigts enveloppent l’objet.

Vient ensuite le problème propre à internet, par opposition à la vidéo humaine délibérément capturée. Le point de vue est erroné et instable. La plupart des séquences web sont tournées à la troisième personne, par un témoin ou sur trépied, puis montées, coupées, zoomées et étalonnées, avec une caméra dont vous ne connaissez ni la position ni les paramètres intrinsèques, et qui saute d’un plan à l’autre pour des raisons qui n’ont rien à voir avec la tâche. Un robot percevra le monde depuis des caméras fixées à sa propre tête et à ses poignets. L’internet ne montre presque jamais ce point de vue. Ainsi, même les pixels arrivent du mauvais endroit, animés par un rythme fixé par un monteur plutôt que par le travail.

L’internet enregistre l’aspect d’une tâche vue depuis l’autre bout de la pièce. Un robot doit reproduire ce que les mains ont fait depuis l’intérieur même du travail. Ce ne sont pas les mêmes images, et l’écart entre elles est tout le problème.

Ce que le corpus donne, et ce qu’il retient

Lisez les trois colonnes comme une seule phrase : l’internet offre la colonne de gauche, ne pourra jamais produire celle du milieu, et la colonne de droite est la facture que quelqu’un doit payer délibérément.

Le plan de jeu vers lequel tout le monde a convergé

Face à cette scission, le domaine s’est accordé avec une rapidité remarquable sur une seule recette : pré-entraîner large, puis aligner étroit. Absorber l’océan de vidéo web pour l’a priori visuel, sémantique et dynamique, puis affiner sur un petit ensemble de démonstrations, capturé avec précision, qui porte l’action, la force et le point de vue que la vidéo ne pouvait pas fournir. La moitié web est quasi gratuite et devient moins chère chaque trimestre. La moitié d’alignement est rare, coûteuse et décisive.

Les systèmes les plus performants appliquent tous une version de cette recette. GR00T s’amorce sur de la vidéo humaine et du mouvement synthétique, puis s’ancre sur des données robotiques réelles. Physical Intelligence entraîne des politiques inter-morphologies sur une base large, puis les aligne sur du matériel spécifique à l’aide de démonstrations ciblées. Google DeepMind intègre un a priori entraîné sur vidéo dans Gemini Robotics et l’affine pour le contrôle. Le corpus web est la même matière première pour tous ; ce qui diffère, c’est la qualité du petit ensemble d’alignement que chacun peut mobiliser.

Pourquoi le petit ensemble décide de tout

Voici la partie contre-intuitive. L’ingrédient rare, celui qui porte tout l’édifice, n’est pas la vidéo web. Celle-ci est abondante, bon marché, et partagée par quiconque dispose d’une connexion réseau. L’ingrédient rare, c’est la démonstration d’alignement : multimodale, à la première personne, étiquetée en action, annotée en force, enregistrée selon un protocole. Ces données ne se scrapent pas, et elles ne tombent pas de l’internet, parce que presque personne ne portait le rig en accomplissant la tâche.

Et c’est l’ensemble d’alignement, non le pré-entraînement web, qui fixe le plafond. Dix mille heures de plus de séquences ambiantes ne déplacent l’a priori que d’un cran. Un ensemble d’alignement plus propre et plus riche, un qui a réellement capturé les forces et le point de vue à la première personne, déplace la politique de façon bien plus significative. Des corpus délibérément capturés existent pour cette raison, et ils sont restreints pour la même raison : Ego4D a rassemblé des milliers d’heures d’activité humaine à la première personne, instrumentées et enregistrées à dessein, et même ce corpus a été construit en grande partie pour la perception plutôt que pour piloter une pince. Le registre qu’un contrôleur veut réellement est plus rare encore.

L’internet restera le professeur le moins cher qu’un robot ait jamais eu, et il continuera de s’améliorer pour montrer à une machine à quoi ressemble le monde et comment il a tendance à se mouvoir. Ce qu’il ne peut pas faire, jamais, c’est montrer à un robot ce que ses propres mains étaient censées faire, parce que cela n’a jamais été dans le cadre. Ces images doivent être créées, délibérément, une tâche capturée à la fois. Le jackpot n’a toujours été qu’à moitié un jackpot, et la moitié précieuse est celle qui attend encore d’être enregistrée.