Pourquoi les mains dextres exigent des données de manipulation plus riches

Posez une pièce de monnaie à plat sur une table et ramassez-la du bout des doigts. Essayez maintenant avec une pince de cuisine. La pince vient à bout d’un crayon ou d’une tasse, mais la pièce lui résiste, car soulever un objet mince et plat d’une surface plane exige qu’un ongle se glisse sous un bord, un pincement, puis un léger roulement de l’objet jusque dans la paume. Cet écart, entre ce que peut faire une pince et ce que peuvent faire des doigts, c’est l’écart entre les mains robotiques que décrit la plupart des données d’entraînement et les mains robotiques que le domaine cherche réellement à construire.

Une pince parallèle à deux doigts qui fait du pick-and-place est un problème de données largement résolu. Il en existe de vastes corpus ouverts, et une policy moderne l’apprend à partir de quelques centaines de démonstrations. Une main à cinq doigts qui réoriente une pièce en plein vol, visse un bouchon ou noue un lacet relève d’un problème plus difficile de plusieurs ordres de grandeur, et les données pour le lui enseigner existent à peine. La raison n’est pas que personne n’a essayé. C’est que la dextérité relève d’un cran le niveau d’exigence sur les données selon plusieurs axes à la fois.

Cet article porte sur le pourquoi. Non pas que la dextérité soit plus difficile, ce dont tout le monde convient, mais précisément sur ce que la dextérité exige d’un enregistrement d’entraînement, exigences qu’une pince n’a jamais imposées : bien plus de degrés de liberté à superviser, des événements de contact plus rapides et plus nombreux, un glissement et une reprise de prise dans la main qu’une seule caméra ne peut résoudre, et une coordination des doigts pour laquelle il n’existe aucune solution de facilité.

L’écart en degrés de liberté

Commençons par le décompte. Une pince à mors parallèles possède un seul degré de liberté actionné : elle s’ouvre et se ferme. Tout le reste, à savoir où elle se rend, est l’affaire du bras. Boulonnez une main à cinq doigts sur ce même bras et vous ajoutez, selon la conception, de l’ordre de seize à vingt-quatre articulations actionnées, se déplaçant toutes ensemble. La main humaine qu’une main robotique imite compte à elle seule plus de vingt degrés de liberté.

Ce n’est pas une hausse linéaire de la difficulté. Une démonstration doit fournir une cible de supervision pour chaque articulation contrôlée, à chaque pas de temps. Pour une pince, cette cible se réduit presque à un scalaire unique : le degré d’ouverture. Pour une main dextre, c’est un vecteur de grande dimension qui doit être cohérent en interne, car les doigts partagent des tendons, touchent le même objet et se contraignent mutuellement. Vous ne pouvez pas annoter le pouce sans vous référer à ce que font les quatre autres doigts. L’espace d’action que la policy doit apprendre à produire passe d’un seul canal à une vingtaine de canaux coordonnés.

Une démonstration de pince répond à une seule question à chaque instant : quelle largeur d’ouverture. Une démonstration dextre en répond à vingt à la fois, et elles n’ont de sens qu’ensemble.

La manipulation dans la main est une tout autre affaire

Le pick-and-place, même avec une main sophistiquée, relève surtout du transport : saisir, déplacer, relâcher. Une fois formée, la prise est statique. La dextérité, au sens qui compte, c’est ce qui se produit lorsque l’objet continue de bouger après que vous l’avez attrapé. Réorienter un boulon pour trouver son filetage. Faire cheminer un stylo entre les doigts pour en amener la pointe vers l’avant. Reprendre un outil tombé dans la main sous un mauvais angle. Les roboticiens appellent finger gaiting le relais doigt par doigt qui rend cela possible, et il n’a aucun équivalent dans le vocabulaire d’une pince.

La manipulation dans la main brise les hypothèses sur lesquelles reposaient les données bon marché. Le contact n’est plus un unique établissement-rupture au bout des doigts ; c’est une séquence continue d’établissements et de ruptures répartie sur cinq doigts, chacun portant brièvement la charge avant d’être relâché quand un autre prend le relais. Le glissement cesse d’être un échec à éviter pour devenir un outil contrôlé : vous laissez l’objet glisser d’une quantité mesurée, puis vous l’arrêtez. Les travaux Dactyl d’OpenAI ont réorienté un cube, puis un Rubik’s Cube, dans une seule main, mais ils reposaient presque entièrement sur la simulation et la randomisation de domaine, précisément parce qu’il n’existait aucun corpus réel de ce comportement dont apprendre.

Pourquoi une seule caméra de poignet ne peut pas le voir

L’ensemble de capteurs standard qui rendait les données de pince bon marché, une caméra de poignet plus des encodeurs articulaires, cesse discrètement de suffire ici. Le problème, c’est l’auto-occlusion. Pendant la manipulation dans la main, l’objet se trouve au milieu de la main, entouré des doigts mêmes qui font le travail. Une caméra de poignet plonge le long du dos de la main sur un amas de doigts qui masquent à la fois l’objet et les autres doigts. La région la plus dense en information de la scène est celle qui est le plus systématiquement occultée.

Des caméras externes supplémentaires aident, mais elles se heurtent au même mur depuis l’extérieur : à tout instant, la plupart des bouts de doigts sont occultés par la géométrie propre de la main. C’est pourquoi la capture dextre ne peut pas s’appuyer sur la vision pour reconstituer l’état après coup. Les angles des articulations des doigts doivent être mesurés directement, à la source, par le gant ou par les propres encodeurs de la main, car il n’existe aucun angle de caméra sous lequel ils sont tous visibles à la fois. Les groupes qui font avancer la dextérité apprise, comme l’IRIS lab de Stanford et la littérature plus large sur la manipulation dans la main disponible sur arXiv, se heurtent sans cesse à la même contrainte : la vérité terrain d’une main n’est pas récupérable de façon fiable à partir des pixels.

Ce qu’une démonstration dextre doit contenir

Mettez les exigences côte à côte et l’écart saute aux yeux. Le même verbe de tâche, ramasser, dissimule un saut qualitatif dans ce que l’enregistrement doit contenir.

Deux lignes méritent d’être soulignées. La fréquence d’images : l’unique transition de contact d’une pince peut être captée sans grande difficulté par un canal tactile rapide, mais le finger gaiting comprime plusieurs transitions de contact dans le temps qu’il faut à une pince pour une seule, si bien que les flux de force et tactiles doivent tourner à plusieurs centaines de hertz, sans quoi la reprise de prise devient un flou entre deux échantillons. Et la force par bout de doigt : un seul capteur de force-couple au poignet rapporte le torseur net sur l’ensemble de la main, ce qui ne renseigne en rien sur le doigt en train de glisser. La dextérité a besoin d’une force résolue par contact, ce qui suppose une détection tactile sur chaque bout de doigt, calibrée en unités physiques.

Pourquoi ces données n’existent quasiment pas à grande échelle

Tout ce qui précède rend les démonstrations dextres coûteuses à produire, et ce coût se traduit par une absence. Les grands corpus de manipulation ouverts sont massivement des données de pince, car c’est ce dont sont équipés la plupart des robots de recherche et ce que les dispositifs de téléopération produisent à faible coût. Les jeux de données qui associent la vision à de vraies mesures de force et tactiles, comme RH20T, sont l’exception plutôt que la règle, et même eux penchent vers des effecteurs terminaux plus simples. Les données dans la main à haut nombre de DOF, par doigt et instrumentées en force, constituent la tranche la plus mince d’une offre déjà maigre.

Les réponses actuelles du domaine sont révélatrices. Le programme Isaac GR00T de NVIDIA mêle des données de robots réels, de la vidéo humaine et de gros volumes de simulation, précisément parce que les vraies démonstrations dextres sont trop rares pour permettre un entraînement à elles seules, et son GEAR lab s’est employé à générer des démonstrations dextres de façon synthétique pour démultiplier le peu de données réelles existantes. Physical Intelligence a présenté des policies généralistes sur des tâches véritablement dextres et déformables, et le fil conducteur de ces travaux, c’est que le plus dur a d’abord été de réunir des démonstrations du comportement. Quand le réflexe standard consiste à fabriquer des données en simulation, c’est un signe révélateur que la vraie chose fait défaut.

Aussi, la manière honnête de lire un extrait vidéo d’une main robotique qui noue un nœud n’est pas que le modèle est devenu intelligent. C’est que quelqu’un a résolu le problème de données pour ce seul comportement, généralement au prix d’un long détour par la simulation. Les pinces ont appris au domaine que la manipulation pouvait s’apprendre à partir de quelques centaines de démonstrations. Les mains lui enseignent les petits caractères : ce nombre a toujours été fonction du nombre de choses que l’effecteur terminal savait faire, et une main sait en faire bien davantage. Combler l’écart tient moins à une policy plus astucieuse qu’au fait d’aller enregistrer, articulation par articulation et doigt par doigt, la dextérité qu’aucun corpus de pince n’a jamais renfermée.