Combien de données faut-il à une compétence humanoïde : l’efficacité d’échantillonnage
De combien de démonstrations une compétence de robot humanoïde a-t-elle vraiment besoin ? Un ordre de grandeur honnête entre apprentissage par imitation, politiques préentraînées et vidéo humaine.
Une politique de diffusion peut apprendre à sortir un bagel d’un grille-pain à partir d’une centaine de démonstrations environ. Donnez-lui une cuisine différente, un grille-pain différent, et une lumière d’après-midi plutôt que du matin, et ce même modèle, entraîné sur les mêmes cent démonstrations, échouera. Rien n’a changé dans la compétence elle-même. Ce qui a changé, c’est la tranche du monde que vous avez demandé à la compétence de traverser.
Demandez à dix ingénieurs en robotique combien de données une compétence humanoïde nécessite, et vous obtiendrez des réponses qui s’étalent sur trois ordres de grandeur. Cinquante épisodes téléopérés. Quelques heures. Dix mille heures. Toutes ces réponses se défendent, et c’est bien là le problème. « Démonstrations par compétence » est un chiffre avec un dénominateur caché, et tant que ce dénominateur n’est pas fixé, le chiffre ne veut presque rien dire.
Cet article tente de proposer un ordre de grandeur honnête plutôt qu’un chiffre unique, et de nommer ce qui vous fait avancer le long de cet ordre de grandeur : la complexité de la tâche, l’ampleur de la variation environnementale que vous voulez couvrir, et si vous partez d’un modèle généraliste ou de zéro. En résumé : une compétence dans un cadre fixe est peu coûteuse, et cette même compétence, capable de tenir dans le monde ouvert, ne l’est pas.
Le problème de l’unité
Une démonstration est une trajectoire : une séquence d’observations et d’actions qui accomplit une tâche une fois. Mais « ramasser la tasse » condense un éventail de difficulté considérable en quelques mots. Ramassez une tasse, dans une pose donnée, sur une table donnée, sous un éclairage donné, et une pile d’apprentissage par imitation moderne en a étonnamment peu besoin. Ramassez n’importe quelle tasse, n’importe où, et vous n’apprenez plus une compétence : vous apprenez une distribution.
La question utile n’est donc pas de savoir combien de démonstrations une compétence nécessite, mais combien il en faut pour atteindre une fiabilité cible sur une plage de conditions cible. Les tâches riches en contact (éplucher, brancher, plier) coûtent plus cher que les mouvements en espace libre. Les tâches à tolérance serrée coûtent plus cher que les tâches indulgentes. Et chaque axe de variation que vous ajoutez, nouveaux objets, nouveaux arrière-plans, nouvel éclairage, nouveaux états de départ, multiplie les démonstrations nécessaires pour le couvrir au lieu de simplement s’y ajouter.
La question n’est jamais de savoir combien de démonstrations une compétence nécessite. C’est de savoir quelle part du monde vous voulez que cette compétence puisse traverser.
Ce que coûte réellement l’imitation à tâche unique
Commençons par le régime le moins coûteux : une tâche, un cadre unique, entraînement à partir de zéro. Ici, la littérature est remarquablement cohérente. Les Action Chunking Transformers, sur la plateforme ALOHA, apprennent des tâches bimanuelles riches en contact à partir d’une cinquantaine de démonstrations. Diffusion Policy rapporte des performances fiables sur tâche unique dans une plage d’environ 100 à 200 démonstrations, parfois moins pour des mouvements simples. Le RT-1 de Google a rassemblé environ 130 000 épisodes répartis sur plus de 700 tâches, ce qui donne en moyenne quelques centaines de démonstrations par tâche, même à l’échelle d’une flotte.
Voici donc un premier repère honnête : pour une compétence de manipulation bien délimitée dans des conditions fixes, prévoyez un budget de quelques dizaines à quelques centaines de démonstrations, soit quelques heures de téléopération. C’est aussi le chiffre le plus souvent cité hors contexte, car il décrit la version la plus facile du problème et suppose tacitement que le test ressemble à l’ensemble d’entraînement.
La remise du préentraînement
Ces chiffres supposent que vous entraînez chaque compétence isolément. Presque plus personne de sérieux ne procède ainsi aujourd’hui. La recette dominante consiste à préentraîner une politique généraliste sur un corpus vaste et diversifié, puis à affiner sur un nombre modeste de démonstrations pour la compétence visée. Le préentraînement amortit ensuite le coût de chaque nouvelle compétence.
Les corpus sont désormais considérables. Open X-Embodiment agrège plus d’un million de trajectoires réelles sur 22 morphologies de robots et des centaines de compétences. DROID ajoute environ 76 000 trajectoires collectées sur le terrain, réparties sur 564 scènes. Le modèle de flux pi-zero de Physical Intelligence et GR00T N1 de NVIDIA sont tous deux des modèles vision-langage-action préentraînés sur ce type de mélange multi-morphologies, et tous deux sont conçus pour être adaptés à une nouvelle tâche avec beaucoup moins de données qu’un entraînement à froid n’en exigerait. Les travaux du Toyota Research Institute sur le Large Behavior Model rendent le mécanisme explicite : co-entraîner un unique réseau sur des centaines de tâches améliore la performance par tâche et réduit les démonstrations nécessaires pour en ajouter une nouvelle.
| Jeu de données | Échelle | Composition | Source de supervision |
|---|---|---|---|
| Open X-Embodiment | Plus d’1 M de trajectoires | 22 morphologies, des centaines de compétences | Robots réels, agrégées |
| DROID | ~76 000 trajectoires, ~350 heures | 564 scènes, 86 tâches | Robots réels, sur le terrain |
| RH20T | Plus de 110 000 séquences | 147 tâches riches en contact | Robots réels, multimodal |
| Ego4D | ~3 670 heures de vidéo | Activité quotidienne à la première personne | Humains, sans étiquettes d’action |
| Ego-Exo4D | Plus de 1 200 heures de vidéo | Tâches spécialisées, égocentrique et exocentrique | Humains, vues synchronisées |
La remise est réelle, mais elle n’est pas gratuite. L’affinage nécessite toujours des démonstrations dans la morphologie et l’environnement cibles, et plus votre robot et votre cadre s’éloignent de la distribution de préentraînement, plus il vous en faut. Une main humanoïde n’est pas une pince à mâchoires parallèles ; une grande partie des données robotiques existantes les moins coûteuses ne se transfère pas proprement vers elle.
Pourquoi la vidéo humaine change l’arithmétique
Les données robotiques téléopérées ont un plafond dur : chaque démonstration nécessite un robot et un opérateur, si bien que le corpus ne grandit qu’une heure-bras à la fois. La démonstration humaine, elle, n’a pas ce plafond. Ego4D a rassemblé environ 3 670 heures d’activité quotidienne à la première personne ; Ego-Exo4D a ajouté plus de 1 200 heures de tâches spécialisées, captées depuis des points de vue synchronisés à la première et à la troisième personne. C’est de la vidéo de mains en train d’accomplir un travail réel, à une échelle qu’aucune flotte de téléopération n’égalera de sitôt.
Le piège, c’est l’écart de morphologie. La vidéo humaine porte les a priori qui comptent, comment une tâche se décompose, où le contact se produit, comment les objets se comportent, mais aucune commande articulaire de robot et souvent aucune profondeur 3D fiable. La convertir en supervision sur laquelle une politique peut s’entraîner, mains reciblées, contact reconstitué, étiquettes d’action, constitue le front de recherche actif, et c’est là que se trouve désormais une grande partie du levier du domaine. Le mélange d’entraînement de GR00T associe déjà données robotiques réelles, simulation et vidéo humaine, précisément parce qu’aucune des trois ne suffit seule.
Budgétiser les données pour une nouvelle compétence
Assemblez ces éléments et une règle pratique se dégage. Pour estimer les données nécessaires à une nouvelle compétence humanoïde, ne demandez pas un chiffre unique ; précisez trois éléments et lisez-en un ordre de grandeur.
- Objectif de fiabilité. Un taux de réussite de 70 % lors d’une démonstration et un taux de 99 % en production sont séparés par une longue traîne qui consomme l’essentiel des données.
- Objectif de variation. Une seule cellule fixe, ou n’importe quelle cuisine ? Chaque axe de variation indépendant multiplie à peu près le besoin.
- Point de départ. À partir de zéro, prévoyez un budget de quelques dizaines à quelques centaines de démonstrations pour le cas fixe. À partir d’un généraliste préentraîné solide, souvent moins pour ce même cas fixe, mais le cas du monde ouvert grimpe malgré tout à plusieurs milliers.
Pour donner une forme approximative : les compétences en cadre fixe se situent dans les dizaines à centaines de démonstrations ; cette même compétence, endurcie pour un déploiement réel dans des foyers ou des magasins, tend à grimper vers les milliers de démonstrations, ou l’équivalent en centaines d’heures, dont l’essentiel n’est pas consacré au mouvement lui-même mais à la longue traîne des conditions qui l’entourent.
Le chiffre honnête
Alors, de combien de données une compétence humanoïde a-t-elle vraiment besoin ? Des dizaines de démonstrations pour bien faire une fois, des centaines pour fonctionner dans une cellule fixe, et des milliers, ou l’équivalent en heures humaines, pour survivre au contact d’un monde qu’elle n’a jamais vu. Ce chiffre est une fonction, pas une constante, et sa variable la plus déterminante est la généralisation. Quiconque vous cite un chiffre unique de données par compétence vous cite en réalité son dénominateur, en espérant que vous ne poserez pas la question.