De la démonstration au déploiement : le pipeline d’entraînement des robots
Le pré-entraînement, le post-entraînement, le sim2real et l’évaluation forment une seule boucle fermée par les données et des tests honnêtes, pas une liste de contrôle. Un guide de terrain du pipeline d’entraînement des robots.
Regardez une politique de manipulation échouer et vous en apprenez davantage qu’en la regardant réussir. Un modèle qui verse de l’eau à la perfection sur l’établi manquera la tasse dès que l’éclairage change, dès que la table se retrouve trois centimètres plus haut, ou que la tasse est brillante plutôt que mate. La démonstration ressemblait à de l’intelligence. Ce qui a réellement cassé, c’est un pipeline, à une étape précise, pour une raison que vous pouvez nommer.
La plupart des articles décrivent les modèles de fondation pour robots comme une ligne droite : collecter les données, pré-entraîner, affiner, déployer. Ce cadrage est commode et faux. Le pré-entraînement, le post-entraînement, le sim2real et l’évaluation ne sont pas une séquence que l’on parcourt une seule fois. C’est une boucle, fermée par l’évaluation, que l’on parcourt de nombreuses fois, et chaque passage change les données que l’on collectera ensuite. Les équipes qui livrent des politiques utiles traitent les quatre étapes comme un seul système doté d’un lien de rétroaction, et non comme quatre services.
Cet article prend position : la contrainte déterminante de cette boucle n’est pas l’architecture du modèle, qui converge et devient de plus en plus partagée, mais les données de démonstration et l’honnêteté de votre évaluation. Réussissez ces deux points et des architectures médiocres fonctionnent. Ratez-les et le meilleur VLA du classement renverse quand même la tasse.
Quatre étapes, une seule boucle
Avant d’entrer dans les détails, voici la carte. Chaque étape a une fonction, une source de données caractéristique, et une manière bien à elle d’échouer en silence.
| Étape | Objectif | Provenance des données | Mode de défaillance dominant |
|---|---|---|---|
| Pré-entraînement | Priors visuomoteurs généraux | Données inter-morphologies et vidéos humaines mutualisées | Le prior est loin de votre robot et de votre scène |
| Post-entraînement | Compétence sur la tâche avec votre matériel | Démonstrations téléopérées sur le robot cible | Trop peu de démonstrations, trop corrélées |
| Sim2real | Mettre à l’échelle les conditions rares, coûteuses ou dangereuses | Simulateurs physiques et randomisation de domaine | Le contact et les objets déformables creusent l’écart sim-réel |
| Évaluation | Mesurer les progrès réels, pas des indicateurs de substitution | Essais sur robot réel, scènes réservées | Métriques bon marché qui ne prédisent pas le comportement sur le terrain |
Pré-entraînement : une étendue empruntée à d’autres robots
Aucun laboratoire ne peut téléopérer assez d’heures pour enseigner à un modèle le monde visuel et physique à partir de zéro ; le pré-entraînement emprunte donc de l’étendue. Open X-Embodiment mutualise environ un million de trajectoires réelles issues de 22 types de robots en un seul mélange, et les modèles entraînés sur cet ensemble mutualisé transfèrent mieux que ceux entraînés sur un robot unique. NVIDIA Isaac GR00T et le pi-zero de Physical Intelligence suivent la même recette : un backbone vision-langage porte les priors sémantiques, une tête d’action apprend les priors moteurs, et les deux sont pré-entraînés sur un mélange hétérogène avant même de voir votre tâche.
La vidéo humaine est l’autre moitié de cette étendue. Des milliers d’heures d’enregistrement quotidien à la première personne (Ego4D) et environ 1 300 heures de capture à la première et à la troisième personne synchronisées dans le temps (Ego-Exo4D) donnent au modèle des priors sur la façon dont les mains abordent les objets, sur la manière dont les tâches se décomposent et sur ce à quoi ressemble un mouvement suivant plausible. Une personne génère un comportement riche en contacts et pertinent pour la tâche bien plus vite et à moindre coût qu’un bras téléopéré. Le hic : l’humain n’est pas le robot ; ces données aident en tant que prior mais nuisent en tant que cible directe si vous sautez l’étape suivante.
Post-entraînement : le dernier kilomètre décide de la politique
Le pré-entraînement donne une compétence générale. Le post-entraînement donne une compétence sur votre robot, dans votre cellule, sur votre tâche, et c’est là que se gagne ou se perd l’essentiel de la performance déployée. Ici, les données sont peu nombreuses et coûteuses : des démonstrations téléopérées sur le matériel cible. DROID est la référence en matière de qualité, avec 76 000 trajectoires téléopérées réparties sur 564 scènes et collectées avec une configuration commune, et sa valeur tient précisément à sa diversité et à sa calibration, non à sa seule taille. Des corpus riches en contacts comme RH20T, de l’ordre de 110 000 épisodes, poussent la même idée vers des tâches multi-étapes exigeant de la force.
Le mode de défaillance est subtil. Deux cents démonstrations collectées par un seul opérateur en une après-midi sont fortement corrélées : même approche de préhension, même éclairage, même encombrement. La politique surapprend les habitudes de l’opérateur et paraît excellente dans une évaluation qui reflète ces mêmes habitudes. Les pipelines ouverts comme Hugging Face LeRobot facilitent la standardisation et le partage de ces jeux de données, ce qui aide, mais aucun format ne répare un corpus qui n’a jamais vu qu’une seule manière d’accomplir la tâche.
Sim2real : des données bon marché avec une taxe de réalité
La simulation est le seul moyen d’obtenir des millions d’essais d’une condition dangereuse ou rare sans casser de matériel. La randomisation de domaine, qui fait varier l’éclairage, les textures, les masses et le frottement pour que le monde réel ne soit qu’un échantillon parmi d’autres, est ce qui permet à une politique entraînée en simulation de survivre au contact avec la réalité. Cela fonctionne remarquablement bien pour la locomotion et le contrôle du corps entier, où la physique dominante est la dynamique des corps rigides, que les simulateurs modélisent bien, et où le GEAR Lab de NVIDIA et la stack Isaac ont beaucoup investi.
Cela fonctionne beaucoup moins bien pour les tâches que l’on souhaite le plus : la manipulation riche en contacts d’objets mous, déformables ou articulés. Un simulateur incapable de modéliser fidèlement une serviette que l’on plie, une fermeture éclair ou une préhension qui glisse entraînera une politique sûre d’elle qui échoue sur l’objet réel. La règle empirique honnête : la simulation vous procure la dynamique et la géométrie à bas prix, mais elle vous facture le contact et la déformation à une taxe élevée et souvent cachée. Le sim2real n’est pas une donnée gratuite, c’est un emprunt gagé sur votre budget d’évaluation.
Évaluation : le goulot d’étranglement que personne ne met en démonstration
Chacune des étapes ci-dessus est notée par le même juge, et ce juge coûte cher. L’évaluation sur robot réel est lente, bruitée et difficile à reproduire : la même politique obtient un score différent le mardi parce que la lumière a changé. La simulation et les métriques hors ligne sont bon marché, mais elles divergent régulièrement du succès sur robot réel ; une politique peut ainsi grimper sur une courbe hors ligne tout en se dégradant dans la cellule. Les travaux du Toyota Research Institute sur les large behavior models sont sans détour à ce sujet : une évaluation soignée en conditions réelles, sur de nombreux essais et de nombreuses scènes, est ce qui vous dit vraiment si la dernière modification a été utile.
La plupart des démonstrations de robots montrent la meilleure tentative parmi beaucoup. Le pipeline qui compte est celui qui vous indique la tentative moyenne, honnêtement, avant que vous ne livriez.
Voilà pourquoi c’est l’évaluation, et non l’architecture, qui ferme la boucle. Une évaluation digne de confiance vous dit dans quelle étape investir ensuite : élargir le mélange de pré-entraînement, collecter des démonstrations de post-entraînement plus variées, ou cesser de faire confiance à un actif de simulation. Une évaluation flatteuse vous fait tourner en rond.
La prochaine politique que vous verrez plier une chemise sur scène ne vous apprend presque rien à elle seule. Les questions utiles sont : sur laquelle des quatre étapes a-t-elle réellement fermé la boucle, combien d’essais réels se tiennent derrière le chiffre, et à qui appartiennent les démonstrations qui lui ont appris le mouvement. Répondez-y et vous saurez distinguer un pipeline d’un montage des meilleurs moments.