Que sont les données égocentriques, et pourquoi les robots apprennent avec elles
La capture à la première personne, par caméras montées sur la tête et le poignet, apprend aux robots à saisir mieux que n’importe quelle caméra murale. Ce que sont les données égocentriques, et le hic.
Regardez quelqu’un casser un œuf. Vous ne le voyez jamais depuis l’autre bout de la cuisine. Vous le voyez d’en haut, le regard glissant le long de l’arête de votre nez, les deux mains montant dans le cadre par le bas, la coquille se fendant à quelques centimètres de vos yeux. Ce point de vue n’a rien d’accessoire. C’est le point de vue dans lequel votre système moteur a appris.
Imaginez maintenant la caméra à partir de laquelle la plupart des robots sont entraînés : un trépied sur le mur d’en face, embrassant toute la scène, les mains de l’acteur de la taille d’un ongle et cachées la moitié du temps derrière son propre corps. Un modèle entraîné sur ces images se voit demander quelque chose d’étrange au moment du test. Il doit contrôler une main qu’il distingue à peine, sous un angle qu’il n’occupera jamais.
Les données égocentriques corrigent ce décalage. Il s’agit d’une capture réalisée depuis le point de vue de l’acteur lui-même, généralement une caméra montée sur la tête et souvent une seconde caméra au poignet, enregistrée pendant qu’une personne exécute réellement la tâche. C’est à partir de ces données que les robots apprennent de plus en plus la manipulation, et les raisons en sont plus concrètes que parce que la première personne paraît naturelle.
Ce que signifie réellement « égocentrique »
Égocentrique signifie que le capteur se déplace avec le corps. Le cadre est ancré à la tête ou à la main, pas à la pièce. Lorsque la personne se tourne vers le tiroir, la caméra tourne. Lorsqu’elle tend le bras, la cible grandit dans le cadre exactement comme elle le fera pour un robot qui tend le bras avec une caméra au poignet. L’opposé est allocentrique, ou à la troisième personne : une caméra fixe qui observe l’agent de l’extérieur.
La distinction est ancienne en sciences cognitives et nouvelle dans l’apprentissage robotique. Des jeux de données comme Ego4D ont réuni des milliers d’heures de séquences d’activité humaine quotidienne filmées par une caméra montée sur la tête, et son successeur Ego-Exo4D enregistre la même action depuis les deux points de vue à la fois, afin qu’un modèle puisse apprendre la correspondance entre ce que vous voyez de vos propres yeux et ce que voit un observateur. Pour la manipulation, c’est le flux égocentrique qui porte le détail utile.
Pourquoi la première personne surpasse la caméra murale
Quatre raisons, grossièrement par ordre d’importance.
La policy s’exécute sur la vue à la première personne. Un robot déployé perçoit le monde à travers des caméras fixées à sa tête et à ses poignets. C’est la distribution d’images que sa policy rencontrera à l’inférence. Entraînez-la sur une caméra murale et vous avez optimisé pour un point de vue que le robot n’utilisera jamais, puis vous espérez que la compétence se transfère. Souvent, elle ne se transfère pas.
Les mains restent dans le cadre. La manipulation se joue dans les derniers centimètres : l’approche, la prise, le contact. Une caméra montée sur la tête ou le poignet garde cette zone grande et centrée. Une caméra murale l’observe à plusieurs mètres, fréquemment occultée par le bras de l’acteur lui-même.
La résolution se pose là où elle compte. Chaque pixel qu’une caméra murale consacre au plafond est un pixel qui ne va pas au bout des doigts. La capture à la première personne concentre le détail sur l’interaction, c’est-à-dire précisément là où un modèle de manipulation a besoin de signal.
Le regard est un signal de supervision gratuit. Les gens regardent ce qu’ils s’apprêtent à toucher, une fraction de seconde avant de le toucher. Une caméra sur la tête enregistre cette attention sans rien coûter, et elle constitue un a priori solide sur l’endroit où se déroule l’action.
Une policy de manipulation s’exécutera sur une caméra fixée au robot, pas sur un trépied à l’autre bout de la pièce. Entraînez-la sur la vue qu’elle n’aura jamais, et vous optimisez pour le mauvais monde.
Ce que l’on oublie : ce sont des données multimodales
La vidéo seule n’apprend pas à un robot à saisir. Une tasse a un poids. Un couvercle résiste, jusqu’à ce qu’il cède. Rien de tout cela n’est visible. Une capture égocentrique de grande valeur superpose plusieurs canaux synchronisés par-dessus l’image, et le modèle apprend de l’ensemble empilé, pas de l’image seule.
| Canal | Ce qu’il capture | Pourquoi la policy en a besoin |
|---|---|---|
| Vidéo RGB | Vues à la première personne et au poignet | Scène, identité de l’objet, géométrie de l’approche |
| Profondeur | Distance par pixel | Distance d’atteinte, pré-formation de la prise, marges de collision |
| Pose de la main et des doigts | Angles articulaires de la main humaine | La cible de reciblage pour une pince ou une main robotique |
| Force et couple | Forces de contact au bout des doigts | Avec quelle intensité appuyer, quand le contact commence, détection du glissement |
| Proprioception | Trajectoire du poignet et du bras dans le temps | L’étiquette d’action sur laquelle la policy régresse réellement |
| Audio | Le clic, le claquement, le raclement du contact | Un marqueur d’événement que la vision manque, comme un loquet qui s’enclenche |
La force et la pose de la main sont les canaux qu’une vidéo à la troisième personne ne pourra jamais reconstituer après coup. Vous pouvez estimer une pose de main approximative à partir des pixels. Vous ne pouvez pas estimer les trois newtons de prise qui ont empêché le verre de glisser. Soit vous l’avez mesuré pendant que la main exécutait la tâche, soit le chiffre a disparu.
Le hic : ces données ne traînent pas toutes seules
Le texte passe à l’échelle parce que l’humanité a déjà écrit Internet. Chaque page web est un exemple d’entraînement que quelqu’un a produit pour une autre raison. Les données égocentriques de manipulation n’ont pas ce genre de déchet résiduel. Il n’existe pas de vaste réservoir d’enregistrements synchronisés de caméra sur la tête, de force et de pose de la main attendant d’être moissonnés, parce que presque personne ne portait cet équipement en préparant le dîner.
Ego4D et Ego-Exo4D sont des travaux marquants, mais ils ont été capturés délibérément : des centaines de personnes, instrumentées, enregistrées selon un protocole, annotées ensuite. Même ainsi, ils ont surtout été conçus pour la perception et la compréhension d’activité, pas pour piloter une pince, si bien qu’ils manquent le plus souvent de la force et de la proprioception que réclame une policy de contrôle. La communauté robotique constitue son propre approvisionnement à la dure. DROID a rassemblé de la manipulation téléopérée à travers de nombreux laboratoires ; Open X-Embodiment a regroupé les données de dizaines de robots et d’institutions en un seul corpus. Les deux sont impressionnants. Les deux ont exigé une coordination héroïque, et les deux restent modestes à côté de ce qu’un modèle de texte avale au petit-déjeuner.
Comment le domaine s’en sert réellement
La méthode courante consiste à pré-entraîner sur de la vidéo humaine bon marché et abondante pour obtenir l’a priori visuel et sémantique, puis à aligner sur un robot précis à l’aide d’un ensemble plus restreint de démonstrations capturées avec précision. La pile Isaac GR00T de NVIDIA s’appuie sur de la vidéo humaine et des trajectoires synthétiques pour amorcer les compétences humanoïdes. Des équipes comme Physical Intelligence entraînent des policies inter-incarnations qui ingèrent des démonstrations hétérogènes et généralisent d’un matériel à l’autre. Le fil conducteur est le même : la démonstration humaine est la graine, et plus cette graine est proche du point de vue et de la panoplie de capteurs propres au robot, moins il faudra en camoufler par la suite.
L’égocentrique n’est donc pas une préférence stylistique pour la vidéo à la première personne. C’est la reconnaissance qu’un modèle de manipulation devrait apprendre du monde dans lequel il agira : la vue rapprochée, les mains dans le cadre, les forces au bout des doigts, le coup d’œil qui précède la saisie. Les images du mur d’en face ont toujours été le mauvais professeur. Le problème intéressant, désormais, n’est pas de savoir s’il faut capturer depuis le corps. C’est que quelqu’un doit aller le faire, délibérément, une tâche après l’autre.