LeRobot : une voie d’accès open source à l’apprentissage robotique

Un dispositif d’apprentissage robotique opérationnel signifiait autrefois un laboratoire, un bras à six chiffres et un doctorant capable d’empêcher une pile ROS de s’effondrer. En 2024, cela a commencé à désigner quelque chose de plus modeste : une paire de bras imprimés en 3D posés sur un bureau, coûtant de l’ordre de cent dollars chacun, un ordinateur portable, et quelques heures passées à s’enregistrer soi-même en train de déplacer des objets. Le logiciel qui relie tout cela s’appelle LeRobot, la bibliothèque open source de Hugging Face pour l’apprentissage robotique en conditions réelles.

LeRobot n’a inventé ni l’apprentissage par imitation ni les politiques de diffusion. Ce qu’il a fait est moins spectaculaire mais, sans doute, plus utile : il a standardisé la plomberie. Un format de jeu de données commun, un ensemble de politiques de référence que l’on peut réellement télécharger et ajuster, du matériel de référence peu coûteux, et une couche d’hébergement qui traite les épisodes robotiques comme le Hub traite déjà les modèles de langage. Résultat : un étudiant à Sofia et un laboratoire de Stanford peuvent désormais échanger leurs données dans le même format de fichier.

Tel est l’argument de cet article. La barrière de l’apprentissage robotique n’a jamais été seulement l’algorithme. C’était l’accès : au matériel, à des données comparables, et à des références que l’on pouvait reproduire sans rétro-ingénierie d’un article. Chacun de ces éléments constituait autrefois un projet à part entière. LeRobot a abaissé les trois à la fois, et les effets de second ordre continuent de se déployer.

Ce qu’est réellement LeRobot

Une fois l’habillage marketing retiré, LeRobot regroupe en réalité trois choses. C’est une bibliothèque PyTorch d’architectures de politiques et de boucles d’entraînement. C’est une norme de jeu de données, LeRobotDataset, qui stocke des images de caméra synchronisées, des états articulaires et des actions avec leurs horodatages, avec une vidéo encodée assez efficacement pour être diffusée en continu depuis un ordinateur portable. Et c’est un ensemble de conventions pour publier jeux de données et points de contrôle entraînés sur le Hugging Face Hub, versionnés et téléchargeables comme n’importe quel autre modèle.

Le projet est dirigé par des ingénieurs venus du travail industriel sur les humanoïdes, et cela se voit dans les priorités retenues. La bibliothèque fournit des recettes de bout en bout : enregistrer des épisodes de téléopération, encoder la vidéo, entraîner une politique, puis la rejouer sur le même matériel. Rien dans cette boucle ne relève de la recherche inédite. Tout cela était autrefois développé sur mesure, laboratoire par laboratoire. La rendre banale et partagée, voilà précisément l’objectif.

La voie d’accès matérielle

Le moyen le moins coûteux d’entrer dans le domaine est désormais un bras imprimé. Les plateformes de référence de LeRobot, le SO-100 et son successeur le SO-101, sont des bras maître-esclave à bas coût pilotés par des servomoteurs de loisir. On déplace le bras maître à la main, un bras esclave le reproduit, et le logiciel enregistre les trajectoires articulaires ainsi que le flux vidéo sous forme d’épisode d’entraînement. ALOHA et Mobile ALOHA se situent un cran au-dessus pour le travail bimanuel.

Le coût est l’élément central. Un bras esclave revient à l’ordre de cent à deux cents dollars en pièces, soit un à deux ordres de grandeur en dessous d’un manipulateur de recherche. Cela n’en fait pas un bon robot industriel. Cela en fait un bon outil pédagogique : suffisamment de degrés de liberté et de répétabilité pour recueillir de véritables démonstrations, et un coût assez faible pour qu’une salle de classe puisse en posséder dix. Comme la liste des pièces et le firmware sont publics, le dispositif est reproductible, de sorte qu’un jeu de données enregistré dans une pièce peut être rejoué et complété dans une autre.

Des politiques que l’on peut ajuster, pas seulement lire

Le catalogue de modèles de la bibliothèque est l’endroit où la voie d’accès rejoint la frontière technologique. Plusieurs architectures présentes dans des articles récents sont disponibles sous forme de références exécutables, et au moins un modèle vision-langage-action de qualité production a été ouvert à l’écosystème : Physical Intelligence a publié π0, un VLA à appariement de flux (flow-matching), qui a été porté afin de pouvoir être ajusté sur vos propres épisodes. SmolVLA, développé par Hugging Face, va dans l’autre sens : un VLA délibérément compact, conçu pour tourner sur du matériel modeste.

Le changement pratique consiste à passer d’un entraînement depuis zéro à un ajustement fin. Un VLA pré-entraîné sur un vaste corpus multi-robots offre un point de départ favorable, et quelques centaines de vos propres épisodes suffisent à le spécialiser. C’est la recette qui a rendu les modèles de langage accessibles, transposée aux articulations et aux pinces.

L’innovation discrète, c’est le format de données

Demandez à un roboticien expérimenté ce qui faisait le plus perdre de temps avant 2024, et une réponse courante est la mise en forme des données. Chaque laboratoire enregistrait les démonstrations différemment : ses propres conventions d’horodatage, son propre étalonnage de caméra, sa propre façon de stocker les actions. Une politique entraînée sur les données d’un laboratoire ne pouvait pas lire celles d’un autre sans adaptateur sur mesure. LeRobotDataset s’attaque précisément à ce problème : un schéma unique, versionné sur le Hub, avec un catalogue croissant de jeux de données communautaires que l’on peut récupérer en une seule ligne.

Il s’accorde également bien avec les grandes agrégations sur lesquelles le domaine s’appuie désormais. Open X-Embodiment a mutualisé des démonstrations issues de dizaines de robots pour montrer que l’entraînement cross-embodiment est bénéfique, et DROID a apporté environ 76 000 trajectoires téléopérées collectées dans de nombreux bâtiments et environnements. Un format partagé est ce qui permet à un nouvel arrivant de combiner ses cent épisodes de bureau avec des corpus comme ceux-ci, plutôt que de devoir choisir entre les deux.

Un format de jeu de données partagé fait pour la robotique ce qu’un format d’image commun a fait pour la vision : les progrès s’accumulent au lieu de repartir de zéro à chaque laboratoire.

Là où la voie d’accès s’arrête

Rien de tout cela ne résout les problèmes difficiles. Une politique qui réussit parfaitement une tâche sur votre SO-101, sous l’éclairage de votre cuisine, échouera souvent face à un nouvel arrière-plan, un nouvel exemplaire d’objet, ou un moment différent de la journée ; la généralisation reste la question ouverte centrale. L’évaluation demeure en grande partie manuelle et difficile à comparer d’un dispositif à l’autre. Et les bras à bas coût enseignent mal la manipulation fine aux extrêmes de force et de vitesse.

Surtout, les données robotiques téléopérées sont coûteuses à faire monter en échelle. Chaque épisode exige qu’un humain pilote un robot en temps réel. C’est pourquoi les laboratoires de pointe se tournent vers d’autres sources : la simulation, comme dans la pile Isaac GR00T de NVIDIA, et la vidéo humaine, où des jeux de données égocentriques comme Ego-Exo4D capturent des personnes effectuant des tâches à la première personne, sans robot dans la boucle.

Commencer petit, tout publier

Le conseil honnête pour quiconque est curieux n’a rien de glamour : achetez ou imprimez un bras, enregistrez une centaine d’épisodes d’une seule tâche, ajustez ACT ou un petit VLA, puis publiez le jeu de données et le point de contrôle sur le Hub. Vous apprendrez plus d’une seule politique ayant échoué en conditions réelles que d’un mois de lecture. Ce chemin n’existe que parce que LeRobot a transformé un ensemble de rituels propres à chaque laboratoire en infrastructure partagée. Les modèles continueront de changer. La voie d’accès est ce qui rend le prochain facile à essayer.