Pourquoi la vidéo humaine égocentrique compte parmi les données robotiques les moins chères
La vidéo égocentrique sort le robot de la boucle de capture, et les heures deviennent bon marché. Pourquoi elle passe à l’échelle, et le piège de l’écart d’incarnation qui la maintient honnête.
DROID, l’un des jeux de données de manipulation robotique les plus cités de ces dernières années, a demandé à treize institutions réparties sur trois continents près d’une année de travail pour être assemblé. Le résultat : environ 350 heures de trajectoires téléopérées, chacune enregistrée sur un vrai bras robotique avec un humain aux commandes. Ego4D, un jeu de données de personnes portant des caméras montées sur la tête au fil de journées ordinaires, totalise près de 3 670 heures, collectées pour l’essentiel en confiant des caméras à des volontaires et en leur demandant de vaquer à leurs occupations. L’un de ces chiffres vaut dix fois l’autre, et ce n’est pas celui qui a nécessité un robot.
Ce contraste résume tout l’argument en faveur de la vidéo humaine égocentrique comme données d’entraînement robotique, et c’est un argument solide. L’ingrédient le plus coûteux d’une démonstration robotique, c’est le robot. Retirez-le de la boucle de capture, filmez une personne qui exécute la tâche depuis son propre point de vue, et l’économie bascule de celle d’une flotte de robots vers celle de la vidéo grand public. Vous cessez de payer pour des bras, des cellules, des cages de sécurité et du temps d’opérateur, et vous commencez à payer pour des caméras et du stockage.
Mais le geste même qui rend les données bon marché introduit le piège qui maintient l’idée honnête. Ce billet porte sur les deux moitiés : pourquoi la vidéo humaine à la première personne compte parmi les données les moins chères sur lesquelles diriger une policy de manipulation, et pourquoi « bon marché à l’heure » est la mauvaise unité si vous arrêtez votre lecture là.
Le robot, c’est la partie coûteuse
La téléopération reste l’étalon-or des données robotiques parce que les annotations sont honnêtes : un humain pilote la machine réelle, si bien que chaque image arrive avec les commandes articulaires exactes que la policy doit prédire. Le problème, c’est le débit. Chaque trajectoire mobilise un robot, un opérateur et une cellule pour toute la durée de la tâche, plus le temps de réinitialisation entre les prises. Les jeux de données riches en contacts poussent le coût plus loin encore. RH20T rassemble de l’ordre de 110 000 séquences de manipulation avec force-couple, audio et vision multi-vues synchronisés, et chacune de ces séquences a tourné sur du matériel réel qu’il a fallu acheter, monter, étalonner et réinitialiser.
La mutualisation aide, mais ne change pas le coût unitaire. Open X-Embodiment a assemblé plus d’un million de trajectoires de robots réels issues d’une vingtaine d’institutions et de vingt-deux types de robots, et il demeure l’un des actifs les plus précieux du domaine précisément parce qu’une telle quantité de données de robots réels est si difficile à produire. Ce que les investisseurs manquent parfois, c’est que cette rareté est structurelle. Les trajectoires robotiques ne traînent pas sur Internet en attendant d’être moissonnées. Chacune doit être produite, sur une machine, en temps réel.
La vidéo égocentrique passe à l’échelle comme la vidéo grand public
Retirez maintenant le robot. Une personne possède déjà les meilleurs manipulateurs du marché, deux mains dotées d’un retour tactile et de décennies d’entraînement, et elle pliera volontiers du linge, coupera des légumes ou câblera une prise tout en portant une caméra. Capturez le monde depuis ses yeux et ses poignets, et vous obtenez les mêmes images à la première personne, riches en contacts, que réclame une policy robotique, sans posséder le moindre robot.
L’échelle qui en découle relève d’un tout autre régime. Ego4D a atteint environ 3 670 heures auprès de plus de 900 participants dans neuf pays. Ego-Exo4D a ajouté près de 1 300 heures d’enregistrements appariés à la première et à la troisième personne d’activités spécialisées, capturées par des centaines de participants dans plus d’une douzaine de villes. Aucun de ces chiffres n’est plafonné par une flotte de robots. Il l’est par le nombre de personnes à qui vous pouvez confier un rig, ce qui est un problème de logistique, non de fabrication de matériel. Doublez les caméras et vous doublez à peu près les données. Essayez avec la téléopération et vous achetez des bras.
Ce que chaque source de données coûte réellement
Le prix affiché à l’heure ne raconte que la moitié de l’histoire. L’autre moitié, c’est la quantité de signal d’entraînement exploitable qu’une heure porte réellement. Le tableau ci-dessous aligne les principales sources de données de manipulation face à ce qui détermine leur coût et à ce qu’elles laissent de côté.
| Source | Ce que coûte son passage à l’échelle | Goulot d’étranglement dur | Ce qui manque à une policy |
|---|---|---|---|
| Téléopération sur robot réel (DROID, RH20T) | Une heure-robot par heure de données, plus les opérateurs | Taille de la flotte de robots | Peu de choses ; les annotations sont natives et honnêtes |
| Vidéo égocentrique passive (Ego4D) | Caméras et stockage ; aucun robot | Des porteurs volontaires et le consentement | Annotations d’actions, profondeur, force, proprioception dans le repère du robot |
| Capture égocentrique instrumentée (type Ego-Exo4D) | Rig de caméras plus profondeur, pose de la main, parfois la force | Coût du rig et temps des participants | Morphologie du robot et annotations d’actions natives |
| Simulation | Temps d’ingénierie ; peu coûteuse à répliquer | Écart simulation-réalité | Dynamique de contact réelle et diversité désordonnée du monde réel |
Le piège : des heures bon marché, des annotations coûteuses
Lisez la colonne de droite de ce tableau et la remise se signale d’elle-même. Une policy de manipulation, au fond, régresse une action : à partir de cette vue et de cette instruction, produire la commande motrice suivante. La téléopération enregistre cette commande directement. La vidéo égocentrique passive ne l’enregistre pas du tout. Ce que vous avez filmé, c’est une main qui bouge, non le couple qui l’a mise en mouvement, et aucune résolution, si élevée soit-elle, ne restitue un signal qui n’a jamais été capturé.
Trois écarts se tiennent entre des images bon marché et une policy entraînée. Premièrement, l’écart d’incarnation : une main humaine à cinq doigts n’est pas une pince à deux doigts, et le reciblage de l’une sur l’autre est avec perte précisément là où cela compte le plus, à l’instant du contact. Deuxièmement, l’écart d’annotation : la pose de la main et des doigts doit être estimée à partir des pixels, puis convertie en quelque chose qu’un robot peut exécuter, et chaque estimateur ajoute de l’erreur. Troisièmement, l’écart de modalité : la vidéo à la première personne prise sur le vif ne porte ni profondeur, ni force-couple, ni trace tactile, précisément les canaux qui distinguent une prise ferme d’un œuf écrasé.
La vidéo égocentrique est bon marché à l’heure et coûteuse à l’annotation. Retirez le robot de la capture et il revient sous la forme d’un astérisque sur chaque trajectoire : l’action manquante, la mauvaise main, la force que personne n’a mesurée.
La façon honnête de valoriser ces données n’est donc pas en dollars par heure, mais en dollars par unité de signal transférable, et à cette aune la vidéo égocentrique est bon marché plutôt que gratuite. L’écart entre les deux prix, c’est du travail bien réel : estimation de pose, reciblage, étalonnage et contrôle qualité. La facture ne s’évapore pas. Elle se déplace du quai de chargement vers l’équipe de recherche.
Comment le domaine comble l’écart
La réponse productive n’est pas de choisir un camp, mais de combiner les sources. La recette dominante associe une large base de vidéo humaine bon marché à un ancrage bien plus réduit de téléopération sur robot réel, puis laisse le modèle apprendre ce qui se transfère. NVIDIA Isaac GR00T traite la vidéo humaine égocentrique comme l’un des piliers de son mélange de données, aux côtés de la simulation et d’un ensemble comparativement restreint de démonstrations sur robot réel, en s’appuyant sur des actions latentes apprises pour rendre exploitable la vidéo sans annotation. L’entraînement inter-incarnations, l’idée derrière Open X-Embodiment, fait quelque chose de semblable entre types de robots : tout mutualiser, laisser la structure partagée émerger, et cesser de traiter chaque morphologie comme une île isolée.
Deux gestes d’ingénierie font que la moitié humaine paie sa part. Le reciblage projette les trajectoires estimées de la main humaine sur la cinématique du robot, pour que les données bon marché parlent la langue du robot. Le co-entraînement conserve dans la fonction de perte un petit ensemble honnête de trajectoires sur robot, afin d’ancrer la policy à de vraies annotations d’actions et à une vraie dynamique. Des équipes chez Physical Intelligence et la communauté ouverte LeRobot convergent vers des variantes de ce schéma, et c’est pourquoi la question intéressante s’est discrètement déplacée. Il ne s’agit plus de savoir si la vidéo humaine aide. Il s’agit de savoir à quel prix vous pouvez la capturer avec les canaux supplémentaires qui la rendent digne d’entraînement.
La vidéo humaine égocentrique compte donc véritablement parmi les données robotiques les moins chères, mais « bon marché » est une affirmation sur le quai de chargement, pas sur toute la chaîne. Les heures sont bon marché parce qu’aucun robot n’est dans la boucle. La policy entraînée, elle, n’est pas gratuite, car le robot que vous avez retiré revient sous forme d’ingénierie : estimation de pose, reciblage, et un petit ancrage de trajectoires réelles pour garder le modèle honnête. Ne lisez que le premier chiffre et vous surpaierez le second. Correctement valorisée, la vidéo à la première personne n’est pas un raccourci qui contourne les données robotiques. C’est la façon la moins chère d’en acheter la plus grande partie, à condition de budgéter la part que la caméra n’a jamais vue.