Données synthétiques ou réelles pour robots : le mélange qui fonctionne
Les données synthétiques dépassent aujourd’hui les trajectoires réelles de robots de plusieurs ordres de grandeur, mais les systèmes qui généralisent le mieux continuent de mélanger les deux. Comment définir ce ratio.
Le groupe robotique de NVIDIA a récemment indiqué avoir généré de l’ordre de 780 000 trajectoires de manipulation synthétiques en environ 11 heures, grâce à un pipeline génératif construit autour de ses modèles Isaac GR00T. À titre de comparaison, le jeu de données DROID, soit 76 000 trajectoires réelles téléopérées, a nécessité environ un an de collecte pour un consortium de 13 institutions. Si le seul nombre de trajectoires suffisait à trancher la question, le débat serait déjà clos.
Il n’est pourtant pas clos. Les politiques entraînées uniquement sur des données simulées ou uniquement générées se heurtent toujours au même mur : le robot paraît maîtriser la tâche dans la démonstration filmée, puis échoue devant la première serviette réelle, le premier tiroir non éclairé, le premier objet dont le simulateur a mal estimé le frottement. L’enseignement utile de ces deux dernières années n’est ni que les données synthétiques fonctionnent, ni qu’elles échouent. C’est que les recettes qui généralisent sont presque toujours des mélanges, et que le ratio de ce mélange est un choix de conception lourd de conséquences.
La question qui mérite d’être posée n’est donc pas « synthétique ou réel ». Elle est plus précise : quelles parties de votre distribution de données pouvez-vous simuler à bas coût, et lesquelles devez-vous conquérir dans le monde physique ? Passer d’un camp à un ratio, voilà tout l’enjeu.
Quatre types de données, quatre rôles différents
L’apprentissage robotique puise dans quatre filières d’approvisionnement, chacune excellant là où les autres échouent.
La téléopération réelle de robots fournit des étiquettes d’action exactes, propres à l’embodiment : les commandes articulaires qui ont réellement produit le mouvement. C’est aussi la filière la plus coûteuse à exploiter. DROID, Open X-Embodiment (plus d’un million de trajectoires réelles regroupées à partir de plus de 60 jeux de données couvrant 22 types de robots) et RH20T (plus de 100 000 séquences riches en contacts) existent parce que collecter ces données à grande échelle est réellement difficile.
La vidéo humaine à la première personne représente le compromis inverse. Ego4D à lui seul totalise environ 3 670 heures d’activité humaine filmée à la première personne, et Ego-Exo4D y ajoute des vues synchronisées à la troisième personne. La couverture de mains réelles accomplissant des tâches réelles est considérable et le coût marginal est faible, mais il n’existe aucune étiquette d’action robotique et un véritable écart d’embodiment sépare une main humaine d’une pince à deux doigts.
La simulation physique (Isaac Sim, la randomisation de domaine et consorts) est peu coûteuse à faire monter en échelle, fournit des étiquettes parfaites et permet de répéter des états dangereux en toute sécurité. Sa faiblesse est l’écart simulation-réel, qui est le plus marqué précisément là où vit la manipulation : le contact, le frottement et les objets déformables.
La vidéo générée ou neuronale, la filière la plus récente, utilise des modèles du monde pour synthétiser des trajectoires, à l’image de la génération de données neuronales dans le style GR00T. Elle est peu coûteuse et visuellement diverse, mais la physique peut être discrètement hallucinée et les étiquettes d’action restent approximatives.
| Source | Étiquettes d’action | Coût marginal | Couverture des cas limites | Principal mode d’échec |
|---|---|---|---|---|
| Téléopération réelle | Exactes, propres à l’embodiment | Élevé | Étroite | Surapprentissage sur un seul rig et un seul laboratoire |
| Vidéo humaine à la première personne | Aucune (écart d’embodiment) | Faible | Très large | Décalage de morphologie humain-robot |
| Simulation physique | Exactes | Faible | Ajustable | Écart simulation-réel sur le contact et le tissu |
| Vidéo générée / neuronale | Approximatives | Faible | Large (visuelle) | Physique hallucinée |
Les mélanges effectivement déployés
Si l’on observe ce que les systèmes de pointe révèlent de leurs données d’entraînement, le constat est constant : personne n’utilise une seule source.
NVIDIA décrit Isaac GR00T comme entraîné sur un mélange de données réelles capturées, de vidéo humaine et de trajectoires générées synthétiquement, précisément pour que le modèle ne soit l’otage d’aucune filière unique. Physical Intelligence a explicitement indiqué que ses modèles pi0 et pi0.5 co-entraînent sur un mélange hétérogène et multi-embodiment, pi0.5 étant conçu autour d’une généralisation en monde ouvert à partir de données larges et variées plutôt que d’un corpus unique et homogène. Open X-Embodiment a montré qu’un co-entraînement d’une politique unique sur des dizaines de jeux de données réels regroupés surpassait un entraînement sur l’un quelconque de ces jeux pris isolément, ce qui illustre l’argument du co-entraînement en miniature. Et les Large Behavior Models du Toyota Research Institute s’appuient sur de grands volumes de téléopération réelle, complétés, et non remplacés, par d’autres sources.
La leçon est structurelle, pas accessoire. Quand une équipe ne peut se permettre qu’une seule source, elle choisit la téléopération réelle et se prive de couverture. Quand elle peut s’en permettre plusieurs, elle conserve un ancrage réel et achète de l’étendue auprès des filières les moins coûteuses. Le mélange est la stratégie.
Comment raisonner sur le ratio
Si la réponse est un mélange, la compétence pratique consiste à en choisir les proportions. Quelques heuristiques se vérifient d’une équipe à l’autre :
- Réservez les données réelles, sur robot, aux endroits où vivent le contact et la dynamique pertinente pour la récompense. Saisir un objet déformable, juger un glissement, appliquer une force : ce sont les comportements qu’un simulateur ou un modèle vidéo risquent le plus de reproduire de façon subtilement fausse, donc c’est là qu’il faut payer pour du réel.
- Utilisez la simulation pour la couverture et la sécurité. Les échecs rares, les états dangereux et la simple variété géométrique sont peu coûteux à fabriquer et fastidieux à collecter physiquement.
- Utilisez la vidéo générée pour la diversité visuelle et sémantique. L’éclairage, l’encombrement et les arrière-plans sont exactement ce que la génération neuronale fait bien varier et ce que les rigs de téléopération échantillonnent mal.
- Ancrez l’ensemble avec une fine tranche de données réelles dans le domaine cible. Un petit ensemble de réglage fin bien choisi, sur le robot cible, comble souvent l’essentiel de l’écart laissé par un pré-entraînement simulé ou généré.
Les proportions varient selon le problème. En apprentissage par renforcement pour la locomotion, il est courant que l’écrasante majorité de l’expérience soit simulée, avec seulement un léger réglage fin en conditions réelles. Dans la manipulation riche en contacts, l’équilibre penche à nouveau vers la téléopération réelle, car c’est précisément là que les erreurs du simulateur mordent le plus fort.
La question utile n’est pas de savoir si les données synthétiques fonctionnent. C’est de savoir quelle tranche de votre distribution vous acceptez de simuler, et quelle tranche vous devez conquérir dans le monde physique.
Là où le ratio se brise
Les mélanges échouent de manières précises et diagnosticables. Le cas classique est l’écart simulation-réel : une politique qui a maîtrisé une simulation de corps rigides rencontre un tissu réel ou un objet compliant, et la dynamique apprise ne tient plus. La vidéo générée introduit une version plus subtile, la physique hallucinée, où une séquence d’images paraît plausible mais est dynamiquement impossible, et une politique entraînée dessus apprend la mauvaise structure causale. Trop de simulation propre crée un covariate shift : le robot n’a jamais vu de quasi-échec, donc il n’a aucun comportement de récupération quand le monde réel s’écarte du chemin démontré. Et il existe un échec de provenance qui n’a rien à voir avec la dynamique, celui du mélange de jeux de données dont la licence et le consentement de collecte restent flous, une responsabilité croissante à mesure que la réglementation, comme l’EU Data Act, se durcit.
Rien de tout cela n’est exotique, et chacun de ces échecs a une parade standard : davantage de randomisation de domaine, de meilleurs ancrages réels, des démonstrations de récupération explicites, une chaîne de provenance propre. Mais chaque parade a un coût, ce qui explique pourquoi le ratio se comporte comme un budget, et non comme une formule.
Les équipes qui progressent réellement ne choisissent pas de camp dans un débat synthétique contre réel qui n’a jamais été le bon cadre. Elles ajustent un mélange, source par source et tâche par tâche, et traitent le ratio lui-même comme une affirmation sur le monde, une affirmation qu’il vaut mieux mesurer que deviner.