Open X-Embodiment contre DROID et RH20T : en quoi ils diffèrent

Partons d’un chiffre que tout le monde cite : Open X-Embodiment est livré avec plus d’un million de trajectoires de robots réels. Cela paraît décisif. Mais en y regardant de plus près, on découvre que ce million est assemblé à partir de plus de 60 jeux de données distincts, enregistrés sur 22 robots différents qui ne s’accordent même pas sur ce que signifie une seule action. Le « move » de l’un est une commande de vitesse articulaire ; celui d’un autre est une pose de l’effecteur terminal ; un troisième consigne une bascule de préhenseur discrétisée. L’ampleur affichée est réelle. La comparabilité ne l’est pas.

Cet écart résume à lui seul toute l’histoire des données de manipulation modernes. Trois des collections les plus citées, Open X-Embodiment, DROID et RH20T, apportent trois réponses différentes à la même question : où trouver assez de démonstrations pour entraîner une policy qui généralise. Open X-Embodiment regroupe tout ce dont la communauté disposait déjà. DROID place un bras standardisé unique dans des centaines de pièces réelles. RH20T restreint le périmètre et l’instrumente avec tous les capteurs qui valent la peine d’être enregistrés. Aucun des trois n’est « le plus grand » d’une manière qui tranche le débat, car ils ne mesurent pas la même chose.

La comparaison utile s’organise selon trois axes, et seul le premier est celui que l’on cite habituellement. L’échelle indique combien d’épisodes existent et, surtout, ce que vaut un épisode. Les capteurs indiquent ce qu’un modèle peut réellement percevoir. La provenance, c’est-à-dire qui a collecté les données, sur quel matériel, selon quel protocole et sous quelle licence, indique si les chiffres sont même comparables et si vous êtes légalement autorisé à entraîner un modèle dessus. Les acheteurs sous-estiment ce troisième axe, jusqu’à ce qu’il les arrête net.

Ce que « l’échelle » cache réellement

Prenons d’abord les trois chiffres phares tels quels. Open X-Embodiment agrège plus d’un million de trajectoires issues de plus de 60 jeux de données antérieurs et de 22 morphologies de robots. DROID apporte environ 76 000 trajectoires téléopérées, soit environ 350 heures, réparties sur 564 scènes et 86 tâches. RH20T réunit plus de 110 000 épisodes de robots associés à des démonstrations humaines, sur 147 tâches. En nombre brut, Open X-Embodiment l’emporte d’un ordre de grandeur.

Reste maintenant à pondérer selon ce que vaut un épisode isolé. Le million d’Open X-Embodiment est hétérogène par construction : bras, préhenseurs, fréquences de contrôle, nombres de caméras et espaces d’action différents, normalisés dans un format RLDS commun, mais pas dans une physique commune. Une policy doit apprendre, implicitement, quel robot elle est en train d’observer. Les épisodes de DROID sont uniformes parce que le matériel est fixe, si bien que la variation se situe là où on la souhaite, dans les scènes et les tâches, et non dans la plateforme. RH20T échange le volume agrégé de trajectoires contre la profondeur d’information : un périmètre plus étroit que l’agrégat mutualisé, mais chaque interaction est enregistrée avec des informations de contact que la plupart des jeux de données ne capturent jamais.

Trois philosophies de capteurs

Les capteurs déterminent ce à quoi une policy peut même prêter attention, et c’est là que les trois divergent nettement. Open X-Embodiment hérite de tout ce que chaque laboratoire contributeur a bien voulu enregistrer. De nombreux jeux de données sources ne comportent qu’une seule caméra RGB et aucune profondeur ; certains ajoutent une caméra de poignet ; quelques-uns incluent de la proprioception à haute fréquence. L’union est large mais irrégulière, et un modèle entraîné dessus doit tolérer des canaux manquants.

DROID standardise le rig. Chaque épisode utilise un Franka Panda équipé de deux caméras stéréo ZED montées dans la scène et d’une caméra ZED de poignet, ce qui donne une profondeur stéréo calibrée sur chaque image. Cette cohérence est précisément l’objectif : pour étudier si une policy généralise entre cuisines et bureaux, on ne veut pas que la configuration caméra change sous ses pieds. La profondeur provient de la stéréo, moins coûteuse et plus portable que des capteurs actifs, mais plus bruitée sur les surfaces sans texture.

RH20T prend la direction inverse et s’instrumente pour le contact. En plus de plusieurs vues RGB-D calibrées, il enregistre de la force-couple six axes et de l’audio, les canaux qui comptent lorsqu’une tâche implique une insertion, un essuyage, ou toute situation où la vision seule ne peut pas dire si le préhenseur appuie trop fort. Pour la manipulation riche en contacts, ce capteur supplémentaire vaut souvent plus que 100 000 clips vidéo supplémentaires sans autre modalité.

Un nombre de trajectoires n’est qu’une métrique de vanité tant qu’on ignore le robot, les capteurs et la licence derrière chaque image.

La provenance détermine ce à quoi vous pouvez faire confiance

La provenance est l’axe qui décide si les deux autres sont même utilisables. Open X-Embodiment est une fédération : sa force est d’avoir unifié des dizaines d’efforts indépendants, et son passif est d’hériter en bloc de leurs licences, de leur statut de consentement et de la qualité de leur documentation. Certains sous-jeux de données sont sous licence permissive et bien documentés ; d’autres manquent cruellement de métadonnées. Si vous entraînez une policy commerciale sur cet ensemble, vous héritez de cette mosaïque, et vous devez la vérifier jeu de données par jeu de données.

DROID a été collecté dans le cadre d’un programme coordonné unique : 50 collecteurs répartis dans 13 institutions d’Amérique du Nord, d’Asie et d’Europe, appliquant le même protocole sur le même matériel pendant environ un an. Cette coordination procure des métadonnées propres et comparables, ainsi qu’une licence unique à raisonner. RH20T est plus restreint encore : un unique programme de recherche, une pile de capteurs fixe, et des démonstrations humaines appariées enregistrées pour les mêmes tâches, ce qui rend praticables sur ce jeu de données les expériences de transfert humain-vers-robot.

Pour un ingénieur, ce n’est pas de la paperasse. La provenance détermine la reproductibilité, la possibilité de filtrer par robot ou par scène, la possibilité de déployer légalement un modèle entraîné sur ces données, et si l’équipe de due diligence d’un partenaire donnera son feu vert. Plus la provenance est propre, moins il y a de surprises lors d’un audit.

Ce que chaque jeu de données entraîne le mieux

Ces différences se traduisent par des usages différents. Open X-Embodiment existe pour démontrer le transfert inter-morphologies : les modèles RT-X entraînés dessus ont montré que la mise en commun des données entre robots peut améliorer la performance sur chacun d’eux pris isolément, et le corpus mutualisé est depuis devenu une base de pré-entraînement par défaut pour les policies généralistes. Les initiatives de modèles de fondation inter-morphologies telles que NVIDIA Isaac GR00T et l’écosystème ouvert Hugging Face LeRobot s’appuient précisément sur ce postulat : la diversité des morphologies est un atout, pas du bruit.

DROID est conçu pour des études de généralisation sur une plateforme fixe : maintenir le robot constant, faire varier le monde, et mesurer ce qui se transfère. RH20T est conçu pour l’apprentissage de compétences où le contact et la force comptent, et pour l’imitation en un seul essai à partir d’une démonstration humaine appariée. Si votre cible est un bras de classe Franka effectuant des tâches domestiques variées, DROID est plus proche de votre distribution. Si votre cible est un assemblage riche en contacts, le canal de force de RH20T est difficile à remplacer. Si votre cible est un robot qu’aucun des trois n’a utilisé, la diversité d’Open X-Embodiment constitue la couverture de repli.

Comment choisir entre eux

Il n’y a pas de vainqueur unique, et c’est en traitant le nombre de trajectoires comme un classement que les équipes finissent par avoir de mauvaises surprises. Choisissez Open X-Embodiment quand vous avez besoin de diversité de morphologies et que vous pouvez absorber le travail de licence et de normalisation. Choisissez DROID quand vous voulez une diversité de scènes contrôlée sur un bras connu. Choisissez RH20T quand le contact et la force déterminent la tâche. Puis lisez les sources vous-même : Open X-Embodiment, DROID, et RH20T documentent chacun leurs propres arbitrages plus honnêtement qu’aucun tableau récapitulatif ne pourrait le faire. Le chiffre sur la boîte n’a jamais été l’essentiel.