Cross-Embodiment Learning : une policy, plusieurs robots

En 2023, un groupe de laboratoires a regroupé les journaux de robots de plus de vingt institutions dans un seul jeu de données et a entraîné un unique réseau, RT-1-X, sur l’ensemble. Ils ont ensuite installé ce réseau sur des robots individuels et l’ont comparé à la policy que chaque laboratoire avait déjà construite à la main à partir de ses propres données. Sur plusieurs de ces robots, le modèle regroupé l’a emporté, avec une avance moyenne d’environ 50 pour cent sur cinq laboratoires, selon le projet Open X-Embodiment. Relisez cette phrase. Ajouter les données d’autres robots, recueillies sur un matériel différent dans des bâtiments différents, a rendu un robot donné meilleur dans sa propre tâche.

Voilà le cross-embodiment learning en une phrase : entraîner une seule policy sur des démonstrations issues de nombreux corps de robots différents, afin que les compétences se transfèrent entre eux et que le regroupement profite à tous en même temps. L’attrait est évident pour quiconque a vu la modélisation du langage avaler un unique corpus désordonné plutôt qu’un système construit à la main pour chaque tâche. Le hic, c’est qu’une phrase reste une phrase partout, tandis qu’un corps, lui, diffère de tout autre corps. Deux robots peuvent partager une tâche sans presque rien partager de leur forme.

Cet article prend Open X-Embodiment, ou OXE, comme exemple détaillé : ce que c’est, pourquoi les corps hétérogènes rendent le problème réellement difficile, la poignée d’astuces qui permettent à une policy de parler à plusieurs, et les limites que personne ne devrait masquer. L’argument en bref : le succès actuel du cross-embodiment est réel, mais étroit. Pour l’essentiel, il s’agit de manipulateurs à un seul bras qui se transfèrent vers d’autres manipulateurs à un seul bras. Le gain qui reste à saisir, c’est le transfert entre des morphologies véritablement différentes, et la source la plus abondante de ce type de données n’est pas un robot du tout.

Le tas qui a battu les spécialistes

OXE n’est pas un modèle. C’est un tas. L’équipe a rassemblé une soixantaine de jeux de données de robots existants provenant de plus de 20 groupes de recherche, les a normalisés dans un format unique, et a fini avec plus d’un million de trajectoires de robots réels couvrant 22 types de robots distincts, du bras unique aux dispositifs bimanuels en passant par un quadrupède, d’après le résumé du projet lui-même. Sur ce tas, ils ont entraîné deux modèles : RT-1-X, une policy compacte, et RT-2-X, un modèle vision-langage-action bien plus grand.

Le résultat marquant, c’était le transfert positif. RT-1-X a battu les lignes de base sur mesure, propres à chaque robot, avec cette marge approximative de 50 pour cent sur les tâches dans la distribution. RT-2-X, le modèle plus grand, est allé plus loin : il a montré des compétences que ses robots d’entraînement n’avaient jamais démontrées et a progressé sur une évaluation de compétences émergentes d’un facteur que l’équipe a chiffré à environ trois. Le détail à retenir, c’est que le modèle plus grand se transférait mieux. Le cross-embodiment n’est pas seulement une astuce de données ; il s’appuie sur l’échelle pour absorber le désordre.

Pourquoi deux robots ne se branchent pas sur la même prise

Alignez deux manipulateurs et l’ennui surgit aussitôt. L’un rapporte les actions sous forme de vitesses articulaires, un autre sous forme d’incréments de position de l’effecteur terminal, un troisième sous forme de poses absolues. L’un a 6 degrés de liberté, le suivant en a 7. L’un se termine par une pince à mâchoires parallèles, si bien que « fermer la main » n’est qu’un seul scalaire ; le suivant porte une main à plusieurs doigts, où la même intention devient un vecteur de 16 nombres. Les caméras sont placées à des endroits différents, à des résolutions différentes, et fonctionnent à des fréquences de commande différentes. Un réseau de neurones a des largeurs d’entrée et de sortie fixes, et il lit la position 3 de son vecteur d’action comme la même grandeur à chaque fois. Donnez-lui un corps différent et les nombres changent de sens en silence.

C’est pourquoi le cross-embodiment est plus difficile que l’apprentissage par transfert en vision ou en langage, où l’interface est uniforme. Il n’existe aucun token qui signifie la même chose pour chaque robot. L’essentiel du travail d’ingénierie consiste à en chercher un.

Le langage a offert aux modèles une interface universelle unique, le token. La robotique n’a pas d’équivalent. Chaque corps est une prise différente, et le cross-embodiment learning consiste en grande partie à chercher un adaptateur qui convient à toutes.

Quatre façons d’amener les corps à parler la même langue

Le domaine a convergé vers un petit ensemble de stratégies d’alignement, et la plupart des systèmes réels les combinent. La plus grossière est un repère d’action partagé : OXE a projeté chaque robot dans un espace d’effecteur terminal normalisé, ce qui est peu coûteux et fonctionne précisément parce que ses corps étaient pour l’essentiel des bras semblables. Une deuxième voie est le conditionnement par embodiment, où un token ou une courte étiquette de texte nomme le robot afin que le modèle puisse spécialiser sa sortie pour chaque corps. Une troisième construit des stems et des têtes propres à chaque corps autour d’un tronc partagé : l’Isaac GR00T de NVIDIA rattache des encodeurs et des décodeurs d’action propres à chaque embodiment à un backbone commun, si bien qu’un nouveau robot arrive sous la forme d’un nouveau stem plutôt que d’un réentraînement complet. Une quatrième tokenise simplement les observations et les actions et laisse un transformer apprendre la correspondance de bout en bout, la voie que suit Physical Intelligence avec son modèle π0, entraîné sur une flotte de robots différents avec un décodeur d’action par flow matching.

Là où le transfert aide, et là où il nuit en silence

Le transfert positif n’est pas une loi. Regroupez des jeux de données dont les distributions d’actions se contredisent et un petit modèle les moyenne jusqu’à en faire une bouillie, un échec que la littérature appelle transfert négatif. Le résultat net d’OXE doit quelque chose au fait que ses corps étaient pour l’essentiel des manipulateurs à un seul bras, un pas modeste plutôt qu’un bond. Il doit aussi quelque chose à l’échelle, puisque le RT-2-X, plus grand, a encaissé une hétérogénéité qui aurait déchiré un réseau plus petit. Et il est sensible à l’équilibre : un tas composé à 90 pour cent d’un seul robot noiera les 21 autres, quelle que soit la façon dont vous pondérez la perte.

La concentration est réelle. DROID, l’un des jeux de données de manipulation les plus utilisés, représente environ 76 000 trajectoires téléopérées recueillies sur un seul bras Franka à travers des centaines de scènes. C’est une couverture excellente d’un seul corps et une couverture nulle de tout autre. Ainsi, « une policy, plusieurs robots » est vrai aujourd’hui dans un sens borné, parmi des bras qui se ressemblent. Le transfert simultané entre un humanoïde, un quadrupède et un bras de table reste en grande partie un problème ouvert.

Le corps humain est lui aussi un embodiment

Poussez le cross-embodiment jusqu’à sa limite logique et la source de démonstration la plus riche cesse d’être un robot. C’est une personne. La vidéo humaine à la première personne est immense et bon marché à côté de la téléopération : Ego4D à lui seul contient environ 3 670 heures d’activité quotidienne non scénarisée, et Ego-Exo4D associe des vues à la première et à la troisième personne de tâches exigeant du savoir-faire, afin qu’une policy puisse observer la main et la scène en même temps. RH20T va plus loin et enregistre côte à côte des démonstrations humaines et robotiques des mêmes compétences. Traitez la main humaine comme un embodiment de plus et vous héritez d’un comportement dont la diversité dépasse de plusieurs ordres de grandeur ce que n’importe quelle flotte de robots peut enregistrer.

Vous héritez aussi de l’alignement le plus difficile de tous. Une main à cinq doigts, une cinématique humaine et aucune proprioception enregistrée, à moins de la capturer délibérément, font du reciblage du mouvement humain vers une pince le cas extrême du problème de la prise. Le simple RGB ne suffit pas ; il vous faut la force, le contact et la profondeur pour reconstruire ce que la main a réellement fait. C’est exactement là que la difficulté du cross-embodiment et la difficulté de la capture de données deviennent une seule et même difficulté.

Le cross-embodiment learning n’est pas l’affirmation qu’un seul cerveau pilote n’importe quel corps. C’est l’observation plus étroite, et plus utile, que les corps ont davantage en commun qu’il n’y paraît, et qu’un réseau doté d’assez de capacité et d’un adaptateur assez astucieux peut exploiter ce recouvrement. OXE a prouvé que ce recouvrement vaut de l’argent pour des bras semblables. La frontière, c’est jusqu’où l’adaptateur peut s’étirer, et la réponse s’écrira moins dans des diagrammes d’architecture que dans le choix des démonstrations, et des corps, qui finissent dans le tas.