Pourquoi les données de démonstration humaine passent mieux à l’échelle que les données scriptées

Un opérateur de téléopération s’installe derrière un humanoïde pendant six heures et recueille quatre cents démonstrations propres d’une seule et même tâche : ouvrir le tiroir, poser la tasse, refermer le tiroir. Chaque trajectoire est fluide, annotée et presque identique. Un peu plus loin dans le couloir, l’équivalent d’un café entier de personnes ouvre des tiroirs toute la matinée : avec la hanche, avec deux doigts, à pleine main, tout en tenant un téléphone, puis à nouveau une fois que le tiroir a coincé. De ces deux flux, l’un ressemble à des données d’entraînement. L’autre ressemble au monde réel.

Ce contraste résume tout l’argument. Les données scriptées optimisent la propreté et le contrôle. La démonstration humaine optimise la couverture. À l’échelle où les policies de robots (les politiques de contrôle apprises) commencent à généraliser, la couverture est la propriété qui rapporte, et les jeux de données publics étayent désormais cette thèse par des chiffres plutôt que par des impressions.

Deux définitions avant d’aller plus loin. Par données scriptées, j’entends des trajectoires qu’une machine ou un protocole de téléopération étroitement contraint produit à dessein : de la préhension-dépose issue d’une planification de mouvement, des déroulés simulés avec randomisation de domaine, la même tâche répétée jusqu’à ce que la mémoire tampon soit pleine. Par données de démonstration humaine, j’entends des enregistrements de personnes exécutant réellement des tâches, de plus en plus capturés à la première personne, selon un point de vue égocentrique. La différence ne tient pas à la qualité par image. Elle tient à la forme de la distribution.

Ce que les données scriptées vous apportent réellement

Les données scriptées et simulées ont de réelles vertus, et il vaut la peine d’être honnête à leur sujet. Elles sont bon marché à produire en masse une fois le pipeline en place. Elles sont parfaitement annotées : vous connaissez l’action, le contact et la pose de l’objet, puisque vous les avez générés. Elles sont sûres, reproductibles et faciles à équilibrer entre les classes. Pour pré-entraîner les a priori moteurs de bas niveau d’une policy, cela constitue un socle solide.

Le mode de défaillance est structurel. Les données scriptées ne peuvent couvrir que la variation que vous avez pensé à encoder. La randomisation de domaine élargit la distribution, mais seulement le long des axes que vous avez choisi de randomiser : éclairage, textures, friction, masse. Les cas qui font échouer les robots déployés se situent généralement en dehors de ces axes, dans la longue traîne des étagères encombrées, des objets déformables, des contenants entrouverts et des interférences humaines. Un modèle entraîné principalement sur le script apprend le script. Il exécute la tâche de la manière dont vous l’avez démontrée, puis se bloque dès la première fois que le monde refuse de s’y conformer.

La couverture est tout l’enjeu

La généralisation a un sens opérationnel tout simple : bien se comporter sur des états sur lesquels vous ne vous êtes pas entraîné. Pour y parvenir, il vous faut des états d’entraînement proches de vos états de test, autrement dit il vous faut de la couverture. Répéter encore la même tâche étroite n’ajoute pas de couverture ; cela ajoute de la confiance sur un terrain que vous tenez déjà.

Open X-Embodiment a mis un chiffre là-dessus. En mettant en commun environ un million de trajectoires réelles à travers 22 morphologies de robots et 60 jeux de données constitutifs, les modèles co-entraînés sur ce mélange ont surpassé les mêmes modèles entraînés sur une source unique quelconque, et les compétences se sont transférées entre des robots n’ayant jamais partagé de jeu de données. Le moteur n’était pas le volume d’une source étroite. C’était la diversité. DROID en donne la version environnementale : 76 000 trajectoires téléopérées collectées délibérément en conditions réelles à travers 564 scènes et 52 bâtiments, les policies co-entraînées sur ces données généralisant à des scènes inédites nettement mieux que des données en laboratoire de taille comparable.

La lecture pratique, c’est une courbe. Ajouter votre dix-millième ouverture de tiroir dans une même cuisine tend vers un rendement nul. Ajouter une nouvelle cuisine, un nouvel objet ou une nouvelle stratégie continue de payer. Quelle que soit la source de données, celle qui infléchit cette courbe le plus lentement est celle qui passe à l’échelle.

Une policy entraînée uniquement sur des trajectoires scriptées ne connaît qu’une seule bonne façon d’ouvrir un tiroir. Une policy entraînée sur des démonstrations humaines en a vu un millier de presque-ratées-mais-rattrapées, et le rattrapage constitue l’essentiel de ce qu’est la robustesse.

Pourquoi les humains sont le meilleur échantillonneur

Voici le levier. Les gens exécutent déjà la longue traîne chaque jour, sans grever aucun budget de données, et la capture égocentrique transforme ce comportement en corpus. Ego-Exo4D a enregistré environ 1 300 heures d’activité qualifiée auprès de 740 participants dans 13 villes, avec des vues à la première et à la troisième personne synchronisées dans le temps ; l’effort antérieur Ego4D avait rassemblé de l’ordre de 3 700 heures auprès de centaines de porteurs de caméra dans des dizaines de lieux. Aucun programme de téléopération de robots n’atteint une telle diversité de personnes, de lieux et de stratégies, parce qu’il ne le peut pas : chaque heure coûte un robot et un opérateur.

Les recettes mêmes du domaine concèdent déjà ce point. Le modèle de fondation Isaac GR00T de NVIDIA s’entraîne sur un mélange qui s’appuie sur de la vidéo humaine aux côtés de trajectoires de robots réels et synthétiques, et Physical Intelligence entraîne ses policies trans-morphologies sur de nombreux robots et de nombreuses tâches plutôt que sur une source unique et propre. Lorsque les groupes qui construisent des modèles de fondation humanoïdes se tournent vers des données humaines et trans-morphologies diverses, ce n’est pas de la décoration. C’est un élément porteur.

Les compromis, côte à côte

Rien de tout cela ne rend les données humaines strictement supérieures. Il s’agit d’un point différent sur un ensemble de compromis, et bien choisir suppose de voir l’échiquier tout entier.

Là où l’approche « humain d’abord » achoppe, et les correctifs honnêtes

La colonne qui devrait vous inquiéter est celle des annotations d’action. Une démonstration humaine vous montre la main, pas les commandes articulaires ; vous observez un résultat, pas un contrôleur. La transformer en quelque chose qu’un robot peut imiter exige une estimation de la pose de la main et de la pose des objets, suivie d’un reciblage sur la morphologie du robot, et chacune de ces étapes cumule l’erreur. Une reprise de saisie à cinq doigts n’a pas d’image nette sur une pince à deux doigts, si bien que certaines stratégies humaines ne se transfèrent tout simplement pas.

Les correctifs sont connus et de plus en plus standard. La capture appariée est le principal : les dispositifs multi-vues de type DROID, les caméras ego et exo synchronisées d’Ego-Exo4D et les séquences humain-robot appariées de RH20T existent tous pour donner à l’étape de reciblage un pont supervisé. La bonne conclusion n’est pas que les données humaines remplacent les données de robot. C’est une division du travail : consacrer l’abondante démonstration humaine à la base diverse, et réserver les rares heures-robot à l’ancrage et aux compétences du dernier kilomètre, là où l’écart de morphologie mord réellement.

La base et le sommet

Traitez les données scriptées pour ce qu’elles sont : un socle propre et bon marché pour les a priori moteurs, pas un chemin vers une policy générale. La couverture est la propriété qui fait passer une policy du stade de démonstration à celui de compétence, et la démonstration humaine en est la source la plus large et la moins chère dont nous disposions. Les équipes qui passeront à l’échelle ressembleront moins à une flotte de robots s’échinant sur une seule tâche qu’à une large base humaine, bien capturée, avec du temps-robot dépensé là où il vaut le plus. Collectez le monde, puis enseignez au corps.