GR00T vs pi0 vs LeRobot : trois stratégies de données

Trois équipes, une phrase qu’elles signeraient toutes : un robot devrait apprendre des compétences générales à partir de données, et non de milliers de lignes de scripts écrits à la main. Demandez à chacune d’où viennent ces données et l’accord se défait. NVIDIA, Physical Intelligence et Hugging Face ont chacun fait un pari différent, et ces paris en disent plus long sur l’état du domaine que n’importe quel classement.

Les trois construisent des modèles vision-langage-action (VLA), la catégorie de policy qui transforme des images de caméra et une instruction en langage courant en mouvement robotique. Ce qui les sépare, c’est la ligne d’approvisionnement : comment obtenir assez de démonstrations pour s’entraîner, alors que le monde physique n’en offre presque aucune gratuitement. Ceci est une comparaison de trois stratégies de données. Ce n’est pas un classement, et, à dessein, elle ne couronne aucun vainqueur.

GR00T : fabriquer les données

La réponse de NVIDIA part de l’instinct d’un fabricant de matériel : si les données n’existent pas, il faut construire une usine pour les produire. Isaac GR00T est un modèle de fondation pour humanoïdes, et la stratégie qui l’entoure s’appuie fortement sur la simulation. Un ensemble relativement modeste de démonstrations humaines et téléopérées réelles est amplifié à l’intérieur d’un simulateur physique en un ensemble bien plus vaste de trajectoires synthétiques, où l’éclairage, la position des objets et les textures sont randomisés pour qu’une policy entraînée sur elles ne surapprenne pas un unique laboratoire immaculé.

Le laboratoire GEAR a développé des pipelines qui transforment une poignée de mouvements capturés en un nombre bien supérieur, au moyen d’outils génératifs et de simulation. L’attrait est évident. Les données synthétiques sont peu coûteuses à multiplier, sûres à collecter et faciles à annoter parfaitement, car le simulateur connaît déjà la pose exacte de chaque objet. Le risque permanent, c’est l’écart entre la simulation et le réel (sim-to-real) : une policy peut maîtriser un monde dont le rendu et le comportement sont légèrement faux, puis rencontrer un vrai préhenseur et un vrai torchon, et découvrir la différence à ses dépens.

pi0 : mutualiser les corps

Physical Intelligence a fait un autre pari : rassembler des démonstrations réelles issues de nombreux types de robots et entraîner une seule policy sur l’ensemble. pi0 et son successeur pi0.5 sont des modèles cross-embodiment (multi-incarnation), alimentés par des données téléopérées provenant de toute une gamme de bras et de mains, plutôt que d’une unique plateforme standardisée. L’idée est que la dextérité possède une structure commune, de sorte qu’une policy ayant vu suffisamment de corps différents acquiert des habitudes transférables au lieu de mémoriser une seule machine.

Sur le plan architectural, pi0 se distingue par sa façon de générer les actions. Plutôt que d’émettre des tokens d’action discrets un à un, il recourt à une tête d’action par flow-matching, une technique empruntée à la génération d’images moderne, pour produire un mouvement continu, fluide et à haute fréquence. Cela épouse le tempo réel de la manipulation mieux qu’un flux lent de tokens. Le coût de cette stratégie est l’image inversée de celui de GR00T : les données téléopérées réelles sont chères et lentes à recueillir, car chaque heure de données est une heure d’un humain opérant un vrai robot. Des efforts communautaires comme DROID montrent à la fois la valeur et le pur labeur que représente la collecte de manipulation téléopérée à grande échelle.

LeRobot : ouvrir les communs

Le LeRobot de Hugging Face n’est ni un modèle unique ni un jeu de données unique. C’est un écosystème : une bibliothèque partagée, un format de données standard, des implémentations de modèles et un hub public où chacun peut publier et récupérer des données robotiques. Le pari est ici social plutôt que technique. Si la collecte de données de manipulation est le goulot d’étranglement, alors le moyen le plus rapide de le franchir pourrait bien être de rendre le partage sans friction et de laisser une communauté accumuler ce qu’aucun laboratoire seul ne peut réunir.

Le format LeRobotDataset compte davantage qu’il n’y paraît. Un schéma commun signifie qu’un enregistrement réalisé sur un bras à deux cents dollars dans un pays peut être chargé, sans conversion, à côté d’un enregistrement issu d’un laboratoire de recherche sur un autre continent. LeRobot héberge aussi des implémentations ouvertes de policies venues de tout le domaine, y compris celles à base de flux dans la lignée de pi0, ce qui brouille la belle rivalité : les communs ouverts sont en partie l’endroit où les autres approches se diffusent et se reproduisent.

Trois paris, côte à côte

Lisez ce tableau comme trois réponses à une même question, et non comme des concurrents dans une course. Chacun accepte une douleur différente en échange d’un avantage différent.

Ce sur quoi ils s’accordent discrètement

Sous le contraste se cache une quantité surprenante de consensus. Les trois sont des VLA fondés sur des transformers. Les trois traitent la démonstration humaine et téléopérée comme la graine à partir de laquelle tout le système croît, y compris GR00T, dont la montagne synthétique est amplifiée, à sa base, à partir de mouvements réels. Les trois se soucient du cross-embodiment, car aucun ne peut se permettre de repartir de zéro pour chaque nouveau robot. Et les trois, y compris celui qui privilégie la simulation, finissent par se valider face au réel, car une policy qui ne fonctionne que dans un moteur de rendu n’est pas un produit. Des corpus mutualisés comme Open X-Embodiment existent précisément parce qu’aucun laboratoire seul ne peut faire cavalier seul.

La simuler, la mutualiser ou l’ouvrir en open source : chaque stratégie est une manière différente de composer avec la même pénurie. Aucune ne supprime le besoin de démonstrations réelles. Elles ne font que changer qui les enregistre, et combien sont inventées dans l’intervalle.

La manière honnête de comparer GR00T, pi0 et LeRobot n’est donc pas de demander quel modèle est le meilleur. C’est de demander à quelle théorie des données vous croyez : un volume synthétique moins coûteux, une diversité réelle plus riche, ou une participation ouverte plus large. Le dénouement le plus probable n’est pas que l’un l’emporte, mais qu’un programme robotique sérieux les utilise tous les trois, et se retrouve tout de même à court de démonstrations, car telle est la forme de la contrainte qui se trouve sous chacun d’eux.