L’écart sim-to-real, expliqué : là où les données réelles s’imposent

Une policy (politique) quadrupède entraînée entièrement en simulation peut marcher sur une pente de gravier qu’elle n’a jamais vue. Une policy de manipulation entraînée de la même manière échouera souvent à saisir un gobelet en plastique transparent, car la caméra de profondeur dont elle dépend renvoie du bruit là où le simulateur a rendu une surface propre. Même recette, deux résultats. La différence tient à la position de chaque tâche sur l’écart sim-to-real.

L’écart n’est pas une chose unique. C’est un ensemble de décalages entre le monde que modélise un simulateur et le monde dans lequel agit un robot : la dynamique de contact qu’il approxime, le bruit de capteur qu’il sous-restitue, le frottement et la masse qu’il devine, et une longue traîne d’événements qu’il n’a jamais générés. Pour certaines tâches, ces décalages sont assez faibles pour être masqués par la randomisation. Pour d’autres, le décalage est la tâche elle-même.

La simulation n’est pas optionnelle dans l’apprentissage robotique moderne, et ceci n’est pas un argument contre elle. C’est un argument en faveur de la précision : savoir quelles parties de la compétence d’un robot peuvent être synthétisées, et lesquelles doivent être observées dans le monde physique. Se tromper sur ce point peut conduire à mobiliser tout un cluster de GPU pour apprendre à une policy à être sûre d’elle face à un monde qui n’existe pas.

L’écart est en réalité trois écarts, pas un seul

Regrouper tous les échecs sous l’étiquette « sim-to-real » masque la structure du problème. Il est utile de distinguer trois écarts distincts, car chacun se comble différemment.

L’écart de dynamique est le décalage physique. Les simulateurs résolvent le contact par approximations, forces de pénalité ou solveurs de complémentarité, et modélisent le frottement comme un cône de Coulomb idéalisé. Une main réelle actionnée par tendons ajoute du jeu mécanique, de l’étirement de câble et une dérive thermique qu’aucun solveur par défaut ne capture. L’erreur est faible à chaque pas et s’accumule sur une longue séquence de manipulation.

L’écart de perception est le décalage dans la détection. Le rendu n’est pas la détection. Les caméras réelles apportent l’obturateur roulant, le flou de mouvement et l’exposition automatique ; les capteurs de profondeur renvoient des données aberrantes sur les objets transparents, spéculaires ou fins. Une policy qui a appris à partir d’une profondeur synthétique propre ne dispose d’aucune représentation pour le mode de défaillance qu’elle rencontrera en premier.

L’écart de couverture est le décalage dans la variété. Un simulateur ne contient que ce que quelqu’un a modélisé. Le monde réel fournit la boîte de céréales légèrement écrasée, le câble qui s’est accroché, le reflet éblouissant à 17 h à travers une fenêtre orientée à l’ouest. Ce sont les inconnues inconnues, et ce sont précisément les échantillons que la randomisation de domaine ne peut pas générer, parce que personne n’a pensé à les paramétrer.

Les trois écarts ne se comblent pas avec le même outil. L’écart de dynamique cède face à de meilleurs solveurs et à l’identification de systèmes. L’écart de perception cède face à un meilleur rendu et à des données de capteurs réels. L’écart de couverture ne cède à aucun des deux, car on ne peut pas randomiser des modes de défaillance qu’on n’a pas imaginés ; seul le contact avec le monde réel les ajoute à l’ensemble d’entraînement.

Là où la simulation fait ses preuves

Rien de tout cela ne rend la simulation faible. Pour une large classe de problèmes, c’est le bon outil, et l’écart de résultats n’est pas discutable. La locomotion à pattes est le cas le plus net : l’état pertinent est essentiellement proprioceptif, les événements de contact sont brefs, et la récompense est dense. On peut exécuter des dizaines de milliers d’environnements parallèles, réinitialiser gratuitement, et randomiser la masse, le frottement et la latence jusqu’à ce que la policy cesse de se soucier des valeurs exactes. Les pipelines construits autour de NVIDIA Isaac et GR00T s’appuient exactement là-dessus, et les contrôleurs de marche et d’équilibre corps entier entraînés en simulation qui équipent du matériel réel prouvent que l’approche se transfère quand la physique est bien modélisée.

Le schéma se généralise. Là où la dynamique est dominée par des corps rigides, là où la détection est proprioceptive plutôt que visuelle, et là où l’on peut définir une récompense dense, la simulation avec randomisation de domaine est difficile à battre en coût par échantillon utile.

Là où la simulation sous-ajuste discrètement

Passez de la marche au toucher, et le terrain change. La manipulation riche en contacts est là où les simulateurs sont les plus faibles et où les conséquences pardonnent le moins. Insérer un connecteur, plier une chemise, essuyer une surface, enfiler un câble : chacune de ces tâches dépend du frottement, de la compliance et du micro-glissement que les solveurs actuels approximent mal. Les objets déformables aggravent le problème, car le tissu, la nourriture et le câble ont un nombre de degrés de liberté pratiquement infini et aucun a priori de corps rigide propre.

Un simulateur est une hypothèse sur la physique. Le contact est l’endroit où cette hypothèse est mise à l’épreuve, et c’est là qu’elle échoue le plus souvent.

La perception présente la même structure. Les objets transparents et réfléchissants, exactement ce dont regorge une maison ou un laboratoire, sont là où la profondeur synthétique diverge le plus fortement des capteurs réels. Et tout ce qui implique des personnes, remises d’objets, espaces de travail partagés, lecture d’intention, n’a aucun simulateur fidèle, car il ne s’agit plus de modéliser la physique mais le comportement humain. C’est pourquoi les policies de manipulation généraliste les plus performantes sont entraînées sur des données d’interaction réelles. Physical Intelligence pré-entraîne ses policies sur de vastes jeux de données hétérogènes de robots réels ; les Large Behavior Models du Toyota Research Institute reposent sur des centaines d’heures de démonstration téléopérée ; et Open X-Embodiment existe parce que la mise en commun de données de robots réels entre laboratoires bat n’importe quel simulateur unique en matière de couverture.

Les tâches à long horizon aggravent le problème. Une policy fiable à 99 % à chaque pas n’est plus fiable qu’à environ 60 % sur cinquante pas, et l’erreur du simulateur n’est pas de moyenne nulle : elle biaise dans des directions cohérentes qu’une policy apprend à exploiter. Ce qui ressemble à une maîtrise dans le simulateur peut n’être qu’une manière élaborée de tromper un moteur physique, et la facture arrive à échéance sur le matériel réel.

Comment l’écart se comble en pratique

Les équipes efficaces ne choisissent pas de camp. Elles composent. Trois mouvements reviennent.

Calibrer le simulateur sur la réalité, parfois appelé real-to-sim : utiliser des trajectoires réelles pour identifier la masse, le frottement et la latence, afin que le modèle autour duquel on randomise soit centré sur la vérité plutôt que sur une supposition. Randomiser sur l’incertitude résiduelle, afin que la policy soit robuste aux paramètres qu’on n’a pas pu déterminer précisément. Et co-entraîner sur des démonstrations réelles, afin que la policy soit ancrée dans les statistiques de capteurs réels et dans la traîne désordonnée qu’aucun simulateur n’a produite. Les policies vision-langage-action modernes suivent ce schéma : un pré-entraînement large, souvent sur des vidéos réelles voire humaines, puis un ajustement fin sur l’incarnation cible.

Ce dernier ingrédient explique pourquoi les jeux de données réelles sont devenus une infrastructure. DROID a réparti la collecte de manipulation sur 564 scènes et 13 institutions ; Ego-Exo4D capture une activité humaine appariée à la première et à la troisième personne, ce qui donne aux policies un a priori sur la manière dont les tâches sont réellement exécutées. La simulation multiplie les données que l’on comprend déjà. La capture réelle est à l’origine des parties de la distribution que l’on ne comprend pas.

L’écart, en définitive, est moins un bug à éliminer qu’une carte à lire. Consacrez la simulation aux endroits où la physique est bien modélisée et bon marché à randomiser. Consacrez les données réelles aux endroits où vivent le contact, la déformation et le contexte humain. Les équipes qui traitent les deux comme des compléments, et non comme des substituts, sont celles dont les robots fonctionnent dès le premier vrai essai, plus souvent qu’autrement.