Retargeting : transposer une démonstration humaine sur le corps d’un robot

Une personne soulève une tasse en passant un doigt dans l’anse, le pouce posé sur le bord. Cela ne lui demande aucune réflexion. Confiez maintenant ce même clip à un robot dont la main est une pince parallèle à deux doigts. Il n’y a aucun doigt pour s’accrocher à l’anse, aucun doigt supplémentaire, aucun pouce pour stabiliser le bord. La démonstration est à la fois parfaite et inutilisable au même instant, car elle est écrite dans un corps que le robot ne possède pas.

C’est la taxe silencieuse qui pèse sur toute promesse voulant que la vidéo humaine bon marché nourrisse l’apprentissage des robots. Une caméra fixée au front d’un cuisinier capture des centaines de saisies par heure, mais aucune n’arrive sous une forme qu’une pince puisse exécuter. Les angles articulaires appartiennent à une main humaine. L’amplitude du geste appartient à un bras humain. Le rythme appartient à un système nerveux humain. Entre les images et une action robotique exécutable se trouve une étape de traduction, et elle porte un nom : le retargeting.

Le retargeting transpose une démonstration du corps qui l’a produite vers le corps qui doit la reproduire. Bien fait, il transforme une montagne de vidéos humaines en signal d’entraînement. Mal fait, il apprend au robot à poursuivre un mouvement qu’il ne pourra jamais physiquement exécuter. Il mérite d’être examiné comme un pipeline, car chaque étape y présente des fuites, et ces fuites déterminent la part de ces images bon marché qui valait la peine d’être collectée.

Le problème sous-jacent

Les roboticiens appellent ce problème fondamental le problème de correspondance : deux agents aux corps différents ne peuvent pas partager une action, seulement une intention. Une main humaine possède plus de vingt degrés de liberté. Une pince à mâchoires parallèles n’en a qu’un. Une main de robot à trois doigts en a une poignée. La démonstration existe dans le premier espace, et le robot dans le second, et rien ne fait passer gratuitement de l’un à l’autre.

Ce qui survit à cette traversée, c’est l’intention : l’objet approché, la manière dont il a été saisi, l’état final atteint. Ce qui ne survit pas, c’est le mouvement littéral. Le retargeting n’est donc pas un filtre qu’on applique une seule fois. C’est une chaîne d’estimation et d’optimisation, et l’erreur s’y accumule à chaque maillon. Comprendre où elle s’accumule fait toute la différence entre bien exploiter la vidéo humaine et se bercer d’illusions à son sujet.

Étape un : reconstituer ce qu’a fait l’humain

Avant de pouvoir transposer quoi que ce soit sur un robot, il faut reconstituer le mouvement humain à partir des pixels. Un clip égocentrique n’est pas une liste d’angles articulaires ; c’est de la RGB, parfois de la profondeur, parfois une vue du poignet. La première étape estime, image par image, la pose 3D de la main, la pose du corps et la pose de l’objet : positions des bouts des doigts, trajectoire du poignet, pose à six degrés de liberté de l’objet et, idéalement, les instants de contact.

Cette étape est déjà porteuse de pertes. L’estimation de pose monoculaire devine une profondeur qu’elle ne peut pas voir, les doigts s’occultent mutuellement pendant une saisie, et l’instant exact du contact est déduit de la géométrie plutôt que ressenti. Les jeux de données à caméras appariées existent en partie pour lutter contre cela. Ego-Exo4D enregistre la même activité experte depuis des caméras synchronisées à la première et à la troisième personne, ce qui donne à la reconstruction de pose plus d’une ligne de vue et de bien meilleures chances d’obtenir des points clés 3D précis. Quelle que soit l’erreur qui survit à cette étape, chaque étape suivante en hérite.

Étape deux : résoudre pour le corps du robot

Les points clés humains reconstitués deviennent alors une cible que le robot doit atteindre, et c’est là qu’intervient la cinématique inverse. L’IK résout les angles articulaires qui placent l’effecteur terminal du robot, sa pince ou sa main, à l’endroit indiqué par la démonstration. En pratique, le retargeting choisit ce qu’il doit faire correspondre, car il ne peut généralement pas tout faire correspondre.

Deux stratégies dominent. Le retargeting par effecteur terminal suit la trajectoire du poignet et de la pince, et résout l’IK pour suivre ce tracé, en traitant la main comme une seule unité fonctionnelle. Le retargeting par points clés va plus loin : il minimise la distance entre les vecteurs des bouts des doigts humains et ceux du robot, de sorte qu’une prise en pince reste une prise en pince même sur une main à moins de doigts. Les méthodes pour mains dextres de la littérature cs.RO s’appuient sur cette idée de correspondance vectorielle pour piloter des mains multi-doigts à partir de vidéos humaines.

L’autre moitié, plus subtile, est la correspondance de la saisie et du contact. Ce dont une démonstration parle vraiment, c’est l’effet produit sur l’objet, pas la forme de la main qui l’a causé. Le retargeting fonctionnel cherche à préserver cet effet : reproduire une saisie stable avec la même approche et la même géométrie de contact, même si le robot y parvient avec deux tampons là où l’humain a utilisé cinq doigts. En faisant correspondre le résultat sur l’objet plutôt que la silhouette de la main, davantage de démonstrations survivent.

Où le retargeting fuit

Trois inadéquations imposent les compromis les plus durs, et chacune vous coûte des démonstrations.

Nombre de doigts. Transposer une main à cinq doigts sur trois doigts ou deux tampons revient à faire passer du nombreux vers le rare. Une saisie en tripode a une image plausible à trois doigts et une image approximative à deux doigts. Une reprise en main, où les doigts font cheminer un objet vers une nouvelle pose, n’a tout simplement aucune image sur une pince parallèle. Ces stratégies ne se transposent pas : elles disparaissent purement et simplement.

Espace de travail. Le bras du robot a sa propre portée, ses propres limites articulaires, ses propres auto-collisions. Un geste humain qui passe derrière une étagère peut n’avoir aucune solution d’IK valide sur le robot, si bien que la trajectoire doit être mise à l’échelle, déformée ou rejetée. Redimensionner l’espace de travail conserve la forme d’un mouvement tout en le ramenant dans l’espace atteignable, au prix de l’exactitude.

Vitesse et dynamique. Les humains se déplacent plus vite que la plupart des robots ne sont censés le faire, et donnent au poignet des à-coups qu’un bras plus lourd ne peut reproduire. Une démonstration qui dépasse les limites de vitesse ou de couple du robot doit être ralentie ou lissée, ce qui peut discrètement altérer une tâche dont la réussite dépendait de l’élan.

Le retargeting peut résoudre à nouveau une géométrie qui lui a été fournie, mais il ne peut pas récupérer un signal qui n’a jamais été capturé. Une saisie peut être redéduite à partir des positions des bouts des doigts. Les trois newtons qui ont empêché le verre de glisser, si aucun capteur ne les a ressentis, ont tout simplement disparu.

La qualité de la capture fixe le plafond

Voici la conclusion que ce pipeline impose. La fidélité du retargeting plafonne l’utilité de la vidéo humaine bon marché, et la fidélité de la capture plafonne le retargeting. On ne peut pas retranscrire une force de contact qu’on n’a pas mesurée, ni résoudre une IK précise à partir d’une pose 3D de la main mal estimée. Les pipelines les plus dégradants sont ceux alimentés par les données les plus pauvres : RGB monoculaire, sans profondeur, sans force, pose devinée et contact déduit.

La solution consiste à déplacer le signal en amont, au moment de la capture, où il est bon marché à enregistrer et impossible à reconstituer par la suite. Les rigs multi-caméras fixent précisément la pose 3D de la main et de l’objet, si bien que la première étape cesse de deviner. Les caméras de profondeur et de poignet resserrent la géométrie sur laquelle l’IK doit se résoudre. La détection tactile et de force transforme la pression de préhension d’un canal perdu en un canal transposable. C’est la logique derrière la capture appariée humain-robot dans des jeux de données comme DROID, qui offrent à l’étape de retargeting un pont supervisé plutôt qu’une supposition en boucle ouverte. La pile Isaac GR00T de NVIDIA et des groupes comme Physical Intelligence s’appuient sur la démonstration humaine précisément parce qu’elle passe à l’échelle, mais ce levier ne porte ses fruits que dans la mesure où la démonstration a été capturée avec assez de richesse pour être transposée avec peu de perte.

Le retargeting n’est donc pas une simple note de bas de page de prétraitement entre la vidéo et la policy, la politique de contrôle apprise par le robot. C’est la vanne entre la source de données la moins chère de la robotique et une action qu’un robot peut réellement exécuter, et l’ouverture de cette vanne se décide bien avant que le solveur n’entre en jeu, selon ce que la caméra et les capteurs sur la main ont pu saisir. Capturez peu, et vous transposez une supposition. Capturez richement, et la démonstration humaine survit au voyage vers un corps qui n’a jamais été conçu pour l’accomplir.