Téléopération contre vidéo humaine : deux voies vers les données robotiques
La téléopération donne des démonstrations robotiques parfaitement alignées à un coût brutal ; la vidéo humaine donne une échelle bon marché qu’il faut recibler. Les compromis, mis en regard.
Chronométrez les deux. Un téléopérateur expérimenté équipé d’un rig VR peut enregistrer un robot pliant une serviette quelques dizaines de fois en une heure, et chaque répétition consomme un robot, un opérateur et un espace de travail contrôlé. Dans cette même heure, une caméra montée sur la tête d’un cuisinier de ligne capture des centaines de prises, de versements et d’essuyages pour le prix d’une carte mémoire. L’un des flux est rare et façonné exactement pour l’entraînement. L’autre est presque gratuit et légèrement inexact. Ce décalage résume toute l’histoire.
Les deux répondent à la même faim. L’apprentissage par imitation a besoin de démonstrations, et le monde physique n’en distribue presque aucune gratuitement, si bien que deux filières d’approvisionnement se sont développées pour le nourrir. La téléopération place un humain dans la boucle du robot lui-même, via des bras leader-follower, des contrôleurs VR ou un exosquelette, et enregistre les propres capteurs et commandes du robot pendant que l’humain le pilote. L’apprentissage par vidéo humaine se passe entièrement du robot, enregistre des personnes effectuant des tâches ordinaires à la première personne, puis tente de transformer ces images en quelque chose qu’une policy peut apprendre.
La différence honnête entre les deux n’est pas la « qualité » dans l’abstrait. C’est l’origine de l’étiquette d’action, et qui paie pour l’aligner avec le robot. La téléopération achète cet alignement d’emblée, à un coût unitaire brutal. La vidéo humaine achète l’échelle d’emblée et reporte la facture d’alignement à l’algorithme. Voici un examen de la facture que vous préféreriez payer, et pourquoi les meilleurs programmes robotiques refusent discrètement de choisir.
Où réside l’étiquette d’action
Commencez par le fait unique auquel tout le reste se rattache. En téléopération, le robot est l’agent, si bien que chaque image arrive appariée aux commandes articulaires et à l’état de pince exacts qui ont produit l’image suivante, dans l’espace d’action propre au robot. Mettre en place un apprentissage supervisé par imitation est presque trivial : prédire l’action enregistrée. La vidéo humaine vous donne l’inverse. Vous voyez l’intention et le résultat avec une grande richesse de détails, mais l’« action » est une main humaine dotée de plus de vingt degrés de liberté, se déplaçant sous des forces de contact que personne n’a mesurées. Pour l’exploiter, il faut reconstruire une action que le robot peut réellement exécuter : estimer la pose de la main, la recibler vers une pince, et inférer le contact que vous n’avez jamais capté. Les roboticiens appellent cela le problème de correspondance. La téléopération le résout par construction. La vidéo humaine en fait votre problème, et chaque compromis ci-dessous en découle.
Le bilan de la téléopération
Ce que la téléopération vous offre, c’est le signal le plus propre de l’apprentissage robotique : des données issues de la machine exacte que vous déploierez, avec proprioception, étiquettes d’action horodatées, et souvent des canaux de force-couple et tactiles qu’une vidéo passive ne peut jamais récupérer. DROID a collecté de l’ordre de 76 000 trajectoires téléopérées, soit environ 350 heures, à travers des centaines de scènes et de nombreuses institutions, et fait figure de référence pour ce à quoi ressemble une téléopération à l’échelle. RH20T pousse vers l’extrémité riche en contacts, avec plus de 100 000 séquences portant des canaux de force-couple et audio en plus de la vision. Et parce qu’aucun laboratoire seul ne peut se permettre de partir de zéro, Open X-Embodiment regroupe des données téléopérées provenant de plus de vingt types de robots en un corpus de l’ordre d’un million de trajectoires.
- Étiquettes d’action dans l’espace propre du robot, alignées image par image
- Proprioception et, sur les rigs plus riches, signaux de force-couple et tactiles
- Un timing qui correspond à la boucle de contrôle, pas à la caméra mobile d’un spectateur
La facture arrive au moment du débit. Un opérateur pilote un robot pendant une heure et produit une heure-robot de données ; il n’y a aucun multiplicateur. Le matériel s’use, les espaces de travail doivent être supervisés, et les scènes se limitent à ce qui tient dans le laboratoire, si bien que la longue traîne de la variation du monde réel est exactement la partie que la téléopération couvre le plus mal. C’est la donnée de démonstration la plus fidèle du domaine, et la plus difficile à mettre à l’échelle.
Le bilan de la vidéo humaine
La vidéo humaine l’emporte sur les deux axes où la téléopération ne le peut pas : l’échelle et la diversité. Ego4D a rassemblé environ 3 600 heures de vidéo à la première personne d’activités quotidiennes, à travers de nombreux pays et contextes. Ego-Exo4D est allé plus loin et a capturé une activité humaine experte à partir de caméras appariées à la première et à la troisième personne, avec commentaires d’experts et annotations de compétence, bien plus de mille heures au total, conçu spécifiquement pour que les machines puissent étudier comment les gens font bien les choses. C’est un océan à côté du seau de la téléopération, et il grandit pour le prix de caméras.
Le piège, c’est tout ce que la téléopération avait gratuitement. Il n’y a pas de robot, donc pas d’étiquettes d’action natives ; pas de détection de force ; un écart de morphologie persistant entre une main à cinq doigts et une pince à mâchoires parallèles ; et un point de vue qui dérive avec une tête humaine plutôt qu’avec un poignet contrôlé. La vidéo humaine entre donc surtout dans l’entraînement par la porte de service : comme pré-entraînement pour des représentations vision-langage, des affordances et des a priori de modèle du monde, et de plus en plus comme pseudo-actions reciblées récupérées à partir de la pose de la main. Les travaux du GEAR lab de NVIDIA sur l’apprentissage à partir de vidéo humaine et la synthèse de trajectoires neuronales en sont une ligne active. Le pari est qu’une montagne de données bon marché mais de mauvaise morphologie, plus un peu de données de bonne morphologie, l’emporte sur chacune des deux prises isolément.
La téléopération paie pour l’alignement et rationne l’échelle. La vidéo humaine paie pour l’échelle et vous doit toujours l’alignement. Aucune des deux voies n’est gratuite ; elles envoient simplement la facture à des endroits différents.
Deux bilans, mis en regard
| Dimension | Téléopération | Vidéo humaine |
|---|---|---|
| Qui agit | Le robot, piloté par un humain | Un humain, sans robot présent |
| Étiquettes d’action | Natives, dans l’espace du robot | Absentes ; doivent être reconstruites |
| Correspondance morphologique | Exacte | Écart de morphologie à combler |
| Force et proprioception | Généralement capturées | Non capturées |
| Coût par heure utilisable | Élevé ; une heure-robot par heure-opérateur | Faible ; seulement du temps de caméra |
| Échelle et diversité | Étroite, confinée au laboratoire | Large, en conditions réelles |
| Rôle principal aujourd’hui | Données de fine-tuning et de déploiement | Pré-entraînement et a priori |
| Risque principal | Ne peut pas passer à l’échelle sur la longue traîne | Erreur de correspondance et de reciblage |
Lisez-le comme deux factures, pas comme un classement. Chaque voie achète une chose à bas prix en payant cher pour l’autre.
Les deux voies convergent
L’ingénierie la plus intéressante se situe désormais entre les deux. Les rigs de pince portative, une véritable pince à mâchoires parallèles tenue dans une main humaine avec une caméra de poignet, permettent à une personne de capturer de la « vidéo humaine » déjà enregistrée dans l’espace d’action du robot, ce qui fait s’effondrer une bonne part du problème de correspondance tout en conservant une collecte à vitesse humaine, en conditions réelles. Les montages à exosquelette et à marionnette poursuivent la même astuce depuis l’autre côté. Entre-temps, la recette par défaut dans le domaine s’est stabilisée en une séquence : pré-entraîner sur de la vidéo humaine pour la perception et les a priori, puis affiner par téléopération pour verrouiller l’incarnation exacte. La mise en commun cross-embodiment, l’instinct derrière Open X-Embodiment, se superpose aux deux. La question vive n’est plus « quelle voie » mais « quel mélange, et où dépenser vos rares heures de téléopération ».
Ne demandez donc pas quelle donnée est la meilleure. Demandez ce qui vous manque. Si l’alignement vous manque, téléopérez, et payez en heures-opérateur. Si l’échelle vous manque, filmez des humains, et payez en reciblage. La plupart des équipes manquent des deux, c’est pourquoi le travail le plus fin s’est déplacé vers le taux de change entre les deux voies, et pourquoi la pénurie de démonstrations survivra à tous les jeux de données publiés jusqu’à présent.