Étirer des démonstrations rares : l’augmentation de données pour les policies de robots

En classification d’images, une photo devient discrètement cinquante. Retournez-la, recadrez-la, décalez la teinte, ajustez légèrement la luminosité, et l’étiquette indique toujours « chat ». Cette astuce porte un nom, l’augmentation de données, et c’est l’une des raisons sous-estimées de la montée en échelle des modèles de vision : le jeu d’entraînement s’agrandit gratuitement. La robotique veut le même repas gratuit, et elle le veut ardemment. Une seule démonstration de robot réel peut coûter plusieurs minutes de téléopération soignée, et le domaine en manque chroniquement.

Alors les équipes augmentent. Elles recadrent et recolorent les images de caméra, composent des démonstrations sur de nouveaux arrière-plans à l’aide de modèles de diffusion, injectent du bruit dans les trajectoires enregistrées et rendent le même mouvement sous des angles de caméra qui n’ont jamais existé physiquement. Bien menée, l’augmentation transforme une démonstration capturée en plusieurs, et elle améliore de façon mesurable la manière dont une policy compose avec un éclairage modifié ou une table encombrée. C’est réel, c’est peu coûteux, et tout pipeline sérieux d’apprentissage robotique en utilise une part.

Mais il existe une ligne que l’augmentation ne peut franchir, et savoir exactement où elle passe sépare un gain à bon marché d’un échec silencieux. Vous pouvez transformer à quoi ressemblait une démonstration. Vous ne pouvez pas transformer ce qu’elle faisait ressentir. Une image recolorée porte la même force de préhension qu’auparavant. Une trajectoire rejouée réutilise un contact mesuré une seule fois. L’augmentation multiplie la perception. Elle ne peut inventer une physique qu’elle n’a jamais observée.

L’augmentation visuelle : le gain peu coûteux et fiable

La plus ancienne famille d’astuces n’opère que sur l’image. Recadrages aléatoires, petites translations, jitter de couleur, variations de luminosité et de contraste, flou gaussien : aucun d’eux ne touche à l’étiquette d’action, et tous rendent une policy moins fragile face aux nuisances précises qui ruinent le transfert du laboratoire au terrain. Les travaux de Berkeley sur l’apprentissage par renforcement à partir de pixels ont montré qu’un procédé aussi rudimentaire qu’un recadrage aléatoire, appliqué de manière cohérente, peut nettement améliorer l’efficacité en échantillons et la robustesse d’une policy fondée sur la vision, parfois assez pour combler l’écart avec des méthodes qui utilisent bien plus de données.

La version plus récente et plus puissante est générative. Au lieu de perturber les pixels, vous réécrivez la scène. L’inpainting par diffusion peut remplacer la cuisine derrière le robot, ajouter des objets distracteurs que le démonstrateur n’a jamais placés, ou rééclairer la table comme si le soleil avait bougé, tout en laissant intacts l’objet manipulé et la trajectoire de la main. Un ensemble de travaux récents en apprentissage robotique recourt précisément à cela pour fabriquer la diversité d’arrière-plans et d’éclairages qu’un rig de téléopération échantillonne mal. Ce que toute méthode visuelle achète est la même chose : l’invariance à l’apparence. Ce qu’aucune ne change, c’est l’action sous-jacente ou la dynamique de l’objet. La trajectoire est identique ; seul son emballage est devenu plus joli.

Augmentation de trajectoires et d’états : enseigner le rattrapage

L’apprentissage par imitation a une faiblesse structurelle. Une policy entraînée uniquement sur des démonstrations d’experts propres n’est fiable que sur les états visités par ces démonstrations, et dès que le robot s’écarte, ne serait-ce que légèrement, de cette trajectoire, il n’a jamais vu comment y revenir. Les erreurs s’accumulent. L’augmentation de trajectoires s’attaque directement à cela, en fabriquant délibérément les états hors trajectoire.

L’injection de bruit en est la forme la plus simple. L’approche DART de Berkeley perturbe le démonstrateur pendant l’enregistrement, de sorte que la trajectoire consignée s’étale en un tube autour de la trajectoire nominale et que la policy apprenne des actions correctives pour de petites déviations, au lieu de mémoriser une unique ligne propre. Les méthodes de type DAgger vont plus loin : exécuter la policy courante, collecter les états qu’elle visite réellement, demander à un expert d’y annoter l’action correcte, puis réintégrer ces corrections dans l’entraînement. Les deux techniques synthétisent de la couverture près de la variété démontrée. Les deux partagent une frontière. Elles élargissent le tube autour de ce que vous avez capturé ; elles ne peuvent atteindre une région de l’espace d’états où le robot n’est jamais entré et que l’expert n’a jamais démontrée.

Replay et synthèse de vues : plus de démonstrations à partir d’une même capture

Une troisième famille multiplie des démonstrations entières. La génération fondée sur le replay, popularisée par des pipelines de type MimicGen et désormais intégrée aux blueprints de données synthétiques d’Isaac GR00T de NVIDIA, prend une petite poignée de démonstrations humaines, les segmente en mouvements centrés sur l’objet, puis rejoue ces segments adaptés à de nouvelles poses et dispositions d’objets. Une douzaine de démonstrations en deviennent des centaines, chacune assortie d’une étiquette d’action exacte, parce que le mouvement est transformé géométriquement plutôt que deviné.

La synthèse de vues fait de même pour la caméra. Restituez la scène capturée à travers une reconstruction neuronale, un NeRF ou un 3D Gaussian splat, et vous pouvez produire la démonstration depuis des points de vue qu’aucune caméra réelle n’a occupés, achetant au modèle l’invariance au point de vue sans seconde capture. Les deux sont puissantes, et les deux héritent de la même hypothèse : que l’interaction enregistrée tient toujours sous la transformation. C’est sans danger pour un pick-and-place rigide, où déplacer la boîte de trente centimètres ne change presque rien au contact. Cela se brise silencieusement dès l’instant où l’objet se déforme, glisse ou résiste autrement qu’il ne l’a fait dans l’unique interaction que vous avez réellement enregistrée.

Ce que l’augmentation ne peut pas simuler

Chacune des méthodes ci-dessus est une fonction de données que vous possédez déjà. C’est tout l’intérêt, et c’est aussi le plafond. L’augmentation ne peut ajouter une information qui n’a jamais été capturée au départ. Les pixels RGB ne portent aucune mesure de force, si bien qu’aucune recoloration ne produira les trois newtons de préhension qui ont empêché un verre de glisser. Un changement d’arrière-plan modifie l’apparence, non le coefficient de frottement. Rejouer une démonstration de préhension d’une boîte rigide n’apprend rien sur la fermeture d’un sac souple, car l’événement de contact qui les distingue n’a jamais figuré dans l’enregistrement source.

Cela recoupe précisément ce que le domaine a appris sur la diversité. Le Toyota Research Institute, en construisant ses Large Behavior Models, a constaté que les démonstrations qui amélioraient réellement une policy étaient celles couvrant des conditions qu’elle n’avait jamais vues. L’augmentation couvre les axes qui sont des fonctions de l’apparence : lumière, arrière-plan, angle de caméra. Elle ne couvre pas les axes qui sont des fonctions de la physique : contact, déformation, masse, frottement, une interaction véritablement nouvelle avec un objet. Ceux-là ne restent visibles qu’à un capteur présent pendant qu’une vraie main accomplissait la vraie tâche.

L’augmentation multiplie ce que vous avez déjà capturé. Elle ne peut enregistrer une force que vous n’avez jamais mesurée, ni un contact que vous n’avez jamais établi. Ceux-là, vous devez encore aller les toucher.

Comment dépenser le budget d’augmentation

Traiter l’augmentation comme un budget plutôt que comme un interrupteur rend les choix évidents. Quelques règles tiennent d’une équipe à l’autre :

• Augmentez l’apparence de manière agressive. Les recadrages, la couleur et les changements d’arrière-plan génératifs sont quasi gratuits et attaquent la cause la plus fréquente de régression du laboratoire au terrain. Il y a peu de raisons de se montrer avare ici.
• Augmentez les trajectoires pour enseigner le rattrapage, non pour inventer des compétences. L’injection de bruit et la réannotation corrective en valent la peine précisément autour de la trajectoire démontrée, là où la dérive est faible et où la bonne action est connaissable.
• Utilisez le replay et la synthèse de vues pour la couverture géométrique des tâches rigides. Ce sont d’excellents multiplicateurs quand le contact est simple et que l’hypothèse tient, et trompeurs lorsqu’elle ne tient pas.
• Consacrez la capture réelle au contact, à la force et aux interactions avec de nouveaux objets. Ce sont exactement les choses qu’aucune transformation ne peut synthétiser, et c’est donc là que les données multimodales coûteuses, captées sur l’embodiment, justifient leur coût. Des programmes comme DROID existent parce que cette capture est réellement difficile, et l’augmentation abaisse la quantité dont vous avez besoin sans jamais l’amener à zéro.

Rien de tout cela n’est un argument contre l’augmentation. C’est un argument en faveur de savoir lequel de vos deux problèmes elle résout. Si une policy échoue parce que la lumière a changé, augmentez, et la correction est bon marché. Si elle échoue parce qu’elle a rencontré une force qu’on ne lui a jamais montrée, aucun recadrage, aucune retouche et aucun replay ne la sauveront. Cet échec s’est joué au moment de la capture, dans le monde physique, selon qu’un capteur était là ou non pour la ressentir.