Comment les données de téléopération sont collectées, de bout en bout

Une bonne session de téléopération pour une politique de pliage de linge peut durer quatre heures et ne produire que quatre-vingt-dix minutes exploitables. Le reste, c’est l’opérateur qui se repositionne entre deux tentatives, une image stéréo perdue, une pince qui indique closed alors que la serviette lui a échappé, ou encore une démonstration techniquement réussie qui, sans bruit, a appris au modèle une habitude que personne ne voulait. Capturer des données de démonstration robotique tient moins du tournage vidéo que de la tenue d’un petit studio d’enregistrement sans indulgence, où cinq horloges sont en désaccord et où la vedette est un bras à 7 DOF.

C’est la couche de la pile d’apprentissage robotique qui fait rarement l’objet d’annonces. Les modèles, eux, font les gros titres : NVIDIA Isaac GR00T, pi-0 de Physical Intelligence, les Large Behavior Models du Toyota Research Institute, Gemini Robotics de Google DeepMind. Chacun d’eux est fonction des trajectoires sur lesquelles il a été entraîné, et l’écrasante majorité de ces trajectoires commencent par une personne qui déplace délibérément un robot à travers une tâche. Ce qui se passe entre le rig et la trajectoire annotée, c’est là que se joue l’essentiel de la qualité.

Suivez-la de bout en bout et la même leçon revient sans cesse : les problèmes difficiles ne relèvent pas de l’apprentissage automatique, mais de l’horodatage, de l’alignement et d’un filtrage impitoyable. Voici le pipeline.

Le rig détermine ce qu’il est possible d’enregistrer

La téléopération signifie qu’un humain pilote le robot en temps réel pendant que chaque canal est enregistré. La façon dont l’humain le pilote fixe un plafond à la qualité des données avant même qu’une seule image soit enregistrée. Quatre familles dominent.

Le pilotage meneur-suiveur (leader-follower) associe un petit bras de réplique au bras réel : l’opérateur déplace le meneur et le suiveur le reproduit. ALOHA a popularisé cette approche pour la manipulation bimanuelle, et GELLO a montré qu’on pouvait construire un bras meneur utilisable pour quelques centaines de dollars de pièces imprimées en 3D et de servomoteurs. Le mouvement est direct et le mappage articulaire est propre. Les contrôleurs VR et portatifs libèrent l’opérateur de toute réplique physique ; le jeu de données DROID, largement utilisé, a été collecté avec un contrôleur Oculus pilotant un bras Franka dans des dizaines de bâtiments. Les gants et exosquelettes capturent la dextérité au niveau des doigts et peuvent renvoyer un retour de force à l’opérateur, au prix d’un calibrage et d’un ajustement par utilisateur. L’apprentissage kinesthésique, qui consiste à guider physiquement le bras à la main, ne nécessite aucun matériel d’interface mais n’enregistre aucun point de vue caméra naturel et ne passe pas à l’échelle.

Chaque flux a sa propre horloge

Une seule démonstration n’est pas un enregistrement unique, c’est un ensemble de flux échantillonnés à des cadences différentes. Les caméras RGB tournent à 30-60 Hz. Les encodeurs articulaires et la proprioception de l’effecteur terminal rapportent à 100-1000 Hz. Un capteur de force-couple monté au poignet peut fonctionner plus vite encore. Les commandes de téléopération arrivent dès que l’opérateur bouge. Rien de tout cela n’est naturellement synchronisé, et l’erreur qui ruine un jeu de données consiste à croire le contraire.

La solution est ennuyeuse et non négociable : horodater chaque échantillon à sa source par rapport à une horloge commune, puis le rééchantillonner sur une chronologie commune a posteriori plutôt que de se fier à l’ordre d’arrivée. Les rigs multi-caméras comme le montage stéréo plus poignet de DROID doivent être synchronisés dans le temps et calibrés géométriquement, sinon la profondeur et l’action se contrediront. Le piège le plus subtil est l’alignement action-observation. L’opérateur réagit à ce qu’il a vu un instant plus tôt, si bien que le journal brut associe chaque action à une observation que l’humain n’avait pas encore vue au moment où il a agi. Entraîner un modèle sur cet appariement décalé d’un cran revient à apprendre à la politique à agir sur le futur. Corriger la latence de bout en bout, souvent de l’ordre de dizaines de millisecondes, fait partie intégrante de la construction de la trajectoire, ce n’est pas un raffinement optionnel.

Un jeu de données de démonstration est d’abord un artefact de synchronisation, et un jeu de données comportemental ensuite. Si les horloges sont fausses, chaque annotation en aval en hérite l’erreur.

La plupart des démonstrations sont silencieusement défectueuses

Partez du principe qu’une part significative des sessions brutes est impropre à l’entraînement, et construisez le pipeline pour les repérer. Les défaillances sont rarement spectaculaires. Une caméra perd des images sous la pression de la bande passante USB. Une horloge dérive au-delà de sa tolérance en cours d’épisode. L’état de la pince indique closed alors que l’objet n’a en réalité jamais été saisi. L’opérateur marque une pause pour réfléchir et laisse trente secondes d’images quasi statiques. Un pic de force signale une collision dont l’opérateur s’est remis sans jamais la signaler.

Une collecte sérieuse applique un filtrage en deux étapes. Les contrôles automatiques détectent les défauts mécaniques : nombre d’images perdues, écarts d’horodatage, proprioception en désaccord avec le mouvement commandé, mesures de force hors d’une plage raisonnable, et épisodes trop courts ou trop statiques pour porter un signal exploitable. La relecture humaine s’occupe du jugement : la tâche a-t-elle réellement été accomplie, la stratégie est-elle bien celle que l’on souhaite enseigner, l’instruction en langage naturel (plier la serviette en deux) décrit-elle honnêtement ce que le bras a fait. RH20T, qui associe plus de 110 000 séquences de manipulation robotique à des données de force-couple et audiovisuelles multi-vues, rappelle qu’à capturer des canaux plus riches, on multiplie aussi les façons dont un clip peut être subtilement erroné. Les épisodes réussis comme les épisodes échoués valent la peine d’être conservés, mais seulement s’ils sont annotés comme tels.

Du journal brut à la trajectoire annotée

Les sessions qui survivent au filtrage sont remises en forme selon un schéma fixe, afin qu’une boucle d’entraînement puisse les consommer sans cas particulier. Un épisode devient une séquence ordonnée d’étapes, et chaque étape est un dictionnaire : une ou plusieurs images de caméra, l’état proprioceptif, l’action effectuée, un indicateur de fin d’épisode, et généralement une instruction en langage naturel. Deux formats dominent. RLDS, le format derrière Open X-Embodiment, empaquette les épisodes sous forme de jeux de données TensorFlow imbriqués ; le format LeRobotDataset d’Hugging Face est devenu la monnaie commune de la communauté ouverte, et il est livré avec l’outillage nécessaire pour charger, visualiser et partager un épisode.

Trois choix à ce stade déterminent tout ce qui suit. Premièrement, l’espace d’action : angles articulaires absolus, ou deltas de l’effecteur terminal. Les deltas se transfèrent plus facilement entre bras similaires, ce qui compte dès que l’on mélange les embodiments. Deuxièmement, la normalisation : les actions et les états sont remis à l’échelle dimension par dimension pour qu’aucun canal ne domine la perte, et les statistiques de normalisation doivent voyager avec les données. Troisièmement, les métadonnées de cross-embodiment : Open X-Embodiment a assemblé plus d’un million de trajectoires issues de 22 types de robots distincts en un seul corpus d’entraînement, et cela ne fonctionne que parce que chaque épisode déclare son embodiment, la disposition de ses caméras et sa fréquence de contrôle. Une trajectoire dépourvue de ces métadonnées ne vaut presque rien dans un jeu de données mixte.

Les compromis auxquels personne n’échappe

La téléopération procure des données propres, causales et correctement incarnées, et elle reste coûteuse parce qu’un humain est dans la boucle à chaque seconde. Ce seul fait oriente la plupart des paris structurels du domaine. Physical Intelligence s’appuie sur des données larges et hétérogènes pour faire couvrir de nombreux robots par un seul modèle. Le Toyota Research Institute regroupe de gros volumes de démonstrations téléopérées au sein des Large Behavior Models, plutôt que d’entraîner une politique par tâche. D’autres misent sur la vidéo humaine égocentrique, Ego-Exo4D figurant parmi les jeux de données de référence, pour contourner le goulot d’étranglement du robot, acceptant l’écart d’embodiment en échange du passage à l’échelle. Il n’y a pas de voie gratuite. Plus de mise à l’échelle coûte généralement de la fidélité ou de la provenance, et une fidélité plus élevée coûte généralement du débit.

Là où se trouve le vrai travail

La prochaine fois qu’une politique robotique effectuera un pliage bimanuel impeccable, rappelez-vous que la partie impressionnante s’est jouée des mois plus tôt, dans une pièce où quelqu’un a décidé lesquelles des seize heures récoltées, à raison de quatre, étaient assez honnêtes pour être conservées. Le rig est la partie facile. Les horloges, les filtres et les annotations sont le vrai métier, et c’est ce qui transforme des sessions brutes en un corpus dont un modèle peut réellement apprendre, plutôt qu’en un tas de clips qui ne font que ressembler à des données.