Pourquoi la randomisation de domaine est le pilier du sim-to-real

En 2019, OpenAI a programmé une main robotisée pour résoudre un Rubik’s Cube. Le matériel était une Shadow Robot Hand standard, mais le logiciel avait été entraîné entièrement dans un simulateur. Le robot n’a pas maîtrisé la tâche grâce à une modélisation mathématique précise des contacts physiques. Il a plutôt réussi parce que les ingénieurs ont passé des semaines à secouer le bac à sable numérique. Ils ont randomisé le frottement du bout des doigts, modifié la masse simulée du cube, déplacé l’éclairage virtuel et même appliqué des forces aléatoires et invisibles aux articulations. C’est la randomisation de domaine (domain randomization) : la pratique contre-intuitive qui consiste à rendre la simulation intentionnellement chaotique pour que la réalité ne soit perçue que comme une variation de plus.

Depuis des années, cette technique est le pilier discret du pipeline sim-to-real. Dans la quête de la Physical AI, la simulation offre une promesse irrésistible : des milliards d’étapes d’expérience générées du jour au lendemain pour quelques centimes, sans l’usure du matériel physique. Pourtant, le monde physique est un adversaire tenace. Dès qu’une politique (policy) entraînée dans un monde virtuel parfait rencontre un sol réel, une table graisseuse ou un néon vacillant, elle échoue généralement. La randomisation de domaine est le pont qui empêche ces politiques de tomber dans le fossé.

Mais à mesure que les développeurs de robots humanoïdes tendent vers une utilité polyvalente, nous atteignons les limites de ce que le chaos synthétique peut offrir. Pour comprendre vers où se dirige le secteur, il faut d’abord examiner pourquoi cette astuce sommaire fonctionne si bien, et où exactement le monde virtuel arrive au bout du chemin.

L’illusion de précision dans la simulation

Des simulateurs comme NVIDIA Isaac Sim, MuJoCo et Drake sont des merveilles d’ingénierie moderne. Ils résolvent des millions d’équations différentielles pour approximer la dynamique des corps rigides, les forces de contact et la gravité. Mais ce sont des approximations. Un simulateur doit calculer les forces à des pas de temps discrets, souvent entre 100 Hz et 1000 Hz. Lorsqu’une main robotisée entre en contact avec un gobelet en plastique, la physique de contact réelle se produit à des échelles microscopiques et à une fréquence infinie. Dans la simulation, cela est simplifié en raccourcis mathématiques tels que les systèmes ressort-amortisseur ou les formulations de complémentarité.

Si vous entraînez un réseau de neurones dans un environnement de simulation unique et minutieusement réglé, la politique exploitera les particularités spécifiques de ce moteur. Elle apprend à « tricher » en abusant des erreurs d’intégration numérique ou en s’appuyant sur un coefficient de frottement qui reste parfaitement constant. Une fois déployées sur du matériel physique, ces exploitations échouent instantanément. C’est le fossé entre simulation et réalité (sim-to-real gap).

La stratégie du chaos synthétique

La randomisation de domaine résout ce problème en transformant l’objectif d’entraînement. Au lieu de trouver la politique optimale pour un monde unique et parfait, le réseau de neurones est contraint de trouver une politique robuste qui fonctionne dans des milliers de mondes subtilement différents. Si une politique peut contrôler une jambe lorsque la gravité est de 9,8 m/s², 9,2 m/s² et 10,4 m/s², elle survivra probablement à la gravité réelle de 9,81 m/s², même si l’IMU embarquée du robot présente une légère dérive d’étalonnage.

La randomisation visuelle

La randomisation de domaine visuelle cible la pile de perception. Les ingénieurs randomisent les positions des caméras, les distances focales, la distorsion des objectifs, les positions des sources lumineuses, les couleurs de la lumière et les textures de surface. Dans de nombreux pipelines d’entraînement, le robot est entraîné sur des surfaces recouvertes de motifs en damier criards et aléatoires ou de textures de bruit. En donnant à l’arrière-plan l’apparence d’un art abstrait, le réseau apprend à ignorer complètement l’arrière-plan et à se concentrer uniquement sur la géométrie de l’objet cible.

La randomisation de la dynamique

La randomisation de la dynamique cible la boucle de contrôle. Elle fait varier les paramètres physiques du robot et de son environnement. Cela inclut l’amortissement des articulations, la masse des segments, les latences des actionneurs, le frottement des surfaces et la longueur des segments. En exposant l’agent à une large enveloppe de constantes physiques, la politique apprend à s’adapter à la volée, développant souvent une capacité implicite d’identification de système au sein de ses unités récurrentes ou de ses blocs transformer.

La randomisation de domaine ne comble pas le fossé sim-to-real en rendant la simulation plus réaliste ; elle comble le fossé en rendant la politique aveugle aux différences entre la simulation et la réalité.

Les limites de la randomisation

Malgré son succès pour permettre à des quadrupèdes de trotter sur un terrain accidenté ou à des humanoïdes de marcher, la randomisation de domaine n’est pas une solution miracle. À mesure que des développeurs comme NVIDIA GEAR Lab et d’autres passent à l’échelle des modèles polyvalents, ils se heurtent à trois limites strictes de cette approche.

Premièrement, il y a le compromis de conservatisme. Si vous randomisez les paramètres physiques de manière trop large, la politique devient excessivement prudente. Un robot entraîné à marcher sur des surfaces dont les coefficients de frottement vont de la glace au papier de verre adoptera une démarche lente et traînante pour éviter de glisser, même lorsqu’il marche sur un sol en béton sec et très adhérent. Il privilégie la sécurité au détriment de l’efficacité, car il doit survivre au pire des scénarios de sa distribution d’entraînement.

Deuxièmement, nous faisons face au goulot d’étranglement de la complexité. S’il est facile de randomiser la masse d’un bloc, il est incroyablement difficile de simuler et de randomiser des objets déformables, des liquides ou des matériaux granulaires. Simuler un robot qui plie une serviette en coton souple, qui étale du beurre de cacahuète ou qui ouvre une boîte en carton nécessite des méthodes d’éléments finis complexes ou des simulations de particules dont le coût de calcul est trop élevé pour être exécutées à l’échelle requise par l’apprentissage par renforcement profond.

Troisièmement, il y a le défi de la variation sémantique. Vous pouvez randomiser la couleur d’une tasse, mais comment randomiser la « nature même d’une tasse » ? Les foyers réels contiennent des milliers de tasses uniques, chacune ayant une forme d’anse, une répartition du poids et une fragilité différentes. Générer des variations sémantiques réalistes en simulation exige d’immenses bibliothèques d’objets et une génération procédurale complexe, qui échouent souvent encore à capturer le désordre de longue traîne des environnements humains.

La transition vers les données du monde réel

En raison de ces limites, la pointe de la recherche en Physical AI se déplace. Si la simulation reste cruciale pour l’entraînement des boucles de contrôle de bas niveau, comme les démarches de marche des humanoïdes tels que ceux développés par Agility Robotics, la manipulation de haut niveau et les tâches polyvalentes sont de plus en plus entraînées sur des données du monde réel.

Des projets comme la collaboration Open X-Embodiment démontrent que l’entraînement sur des jeux de données variés et issus du monde réel permet aux robots de généraliser bien mieux que lorsqu’ils sont entraînés dans des simulations randomisées. Lorsqu’un modèle s’entraîne sur des milliers de démonstrations réelles d’ouverture de tiroirs, de nettoyage de plans de travail et de préhension d’objets, il apprend la physique réelle de notre monde, avec la souplesse subtile des mains humaines, l’élasticité des matériaux et la nature imprévisible de l’éclairage du monde réel.

Ce basculement a transformé le défi de la robotique, d’un problème d’ingénierie de simulation en un problème de pipeline de données. Le goulot d’étranglement n’est plus le nombre de GPU virtuels que vous pouvez démarrer, mais le nombre d’heures de données de démonstration humaine de haute qualité, variées et issues du monde réel que vous pouvez ingérer pour entraîner la prochaine génération de modèles Vision-Language-Action (VLA).

La voie à suivre

Nous n’abandonnons pas la simulation. Des plateformes comme NVIDIA Isaac GR00T resteront essentielles pour le pré-entraînement et la vérification de sécurité. L’avenir de la Physical AI réside dans une approche hybride : utiliser des simulations à domaine randomisé pour construire des réflexes de bas niveau stables et robustes, tout en s’appuyant sur d’immenses jeux de données de démonstration réelle pour apprendre aux robots à interagir intelligemment avec un monde complexe et imprévisible. Le pilier du sim-to-real nous a menés loin, mais le dernier kilomètre de la robotique polyvalente sera pavé de données du monde réel.