Les modèles de récompense pour l’apprentissage robotique, et pourquoi les récompenses échouent
Les récompenses conçues à la main se brisent dans la manipulation en conditions réelles. Voici pourquoi, et comment une approche par modèle de récompense appris, à partir de préférences, de démonstrations et de vidéo, les remplace.
Voici une tâche qui semble triviale : récompenser un robot lorsqu’il place une assiette dans un égouttoir. Dans un simulateur, vous écrivez une ligne, la récompense vaut un quand l’assiette est bien en place et zéro sinon, et l’apprentissage par renforcement fait le reste. Sur un vrai robot, cette ligne est impossible à écrire, car rien dans le système ne peut vous dire de façon fiable que l’assiette est en place.
Cet écart, c’est tout le problème. L’apprentissage par renforcement a besoin d’une récompense à chaque étape, et pour la manipulation la récompense est précisément ce que vous ne pouvez pas mesurer. Vous pouvez mesurer des angles articulaires. Vous ne pouvez pas mesurer si la chemise est pliée proprement, ni si la prise est complètement enfoncée, sans avoir en réalité déjà résolu la perception.
Le domaine déplace donc discrètement la partie difficile. Au lieu d’écrire les récompenses à la main, les équipes les apprennent, à partir de préférences humaines, de démonstrations, de vidéo. Cela change les données dont une équipe de robotique a réellement besoin, et il est utile de comprendre pourquoi les récompenses conçues à la main échouent avant d’examiner ce qui les remplace.
Pourquoi les récompenses conçues à la main se brisent
L’ingénierie des récompenses fonctionne à merveille dans les jeux. Le score a monté, donc la récompense monte. La manipulation physique possède trois propriétés qui brisent cette boucle bien nette.
La récompense est inobservable. Le succès est une affirmation sur le monde, par exemple que la tasse est droite, pleine et posée sur le dessous-de-verre, et le lire à partir de capteurs bruts est en soi un problème de perception difficile. Si vous disposiez d’un détecteur de succès parfait, vous seriez déjà à mi-chemin d’une politique.
Le façonnage dense se retourne contre vous. Pour éviter des récompenses éparses, les ingénieurs ajoutent des termes de façonnage : se rapprocher de la tasse, petite récompense ; aligner la pince, petite récompense. Les robots exploitent alors la lettre de la récompense. Une politique se contentera de rester en vol stationnaire à côté de la tasse à collecter indéfiniment la récompense de proximité, un comportement connu sous le nom de reward hacking, bien documenté dans la recherche en apprentissage par renforcement, notamment par des équipes comme Google DeepMind blog.
Le contact le rend fragile. De petites variations de force ou de synchronisation font basculer le succès en échec, si bien qu’une récompense réglée pour un objet, une pose et un jour donné se transfère rarement. Chaque nouvelle tâche devient un nouveau projet de réglage de récompense. Cela ne passe pas à l’échelle des milliers de compétences dont un humanoïde a besoin.
La fonction de récompense est l’endroit où se cache l’essentiel de l’effort humain dans l’apprentissage par renforcement en robotique, et l’écrire à la main ne passe pas à l’échelle au-delà d’une démonstration.
Ce que fait un modèle de récompense appris
Un modèle de récompense appris remplace la règle écrite à la main par une fonction entraînée qui évalue la qualité d’un état ou d’une trajectoire. Donnez-lui une observation, il renvoie un nombre. La politique s’optimise par rapport à ce score appris plutôt que par rapport à une formule rédigée par un humain. D’où vient ce score ? De trois sources principales.
Les préférences humaines
Montrez à une personne deux courts clips du robot tentant une tâche et demandez-lui lequel est le meilleur. Rassemblez des milliers de ces comparaisons, puis ajustez un modèle de récompense qui s’accorde avec le classement humain. C’est la même recette d’apprentissage par préférences qui a servi à régler les grands modèles de langage, appliquée au comportement physique. Elle contourne le problème de l’inobservabilité, car un humain juge le succès directement.
Le coût est réel. Chaque comparaison est une décision humaine, et les évaluateurs sont en désaccord sur les clips confus, saisis en cours de tentative, si bien que les annotations sont bruitées. Mais le bruit se moyenne sur des milliers de jugements, et le modèle finit par évaluer le comportement comme les gens le font réellement, et non comme un ingénieur l’aurait supposé.
Les démonstrations comme récompense implicite
Si vous disposez de démonstrations d’experts, vous pouvez inférer la récompense qui rend ces démonstrations optimales, c’est l’idée derrière l’apprentissage par renforcement inverse. Ici, les données elles-mêmes, l’humain montrant la tâche, portent le signal de récompense. Des équipes universitaires comme Berkeley BAIR blog défendent cette approche depuis des années.
La vidéo et les modèles de fondation comme juges
On peut inviter un grand modèle vision-langage à évaluer si une image montre la réussite d’une tâche, transformant ainsi un modèle généraliste en une fonction de récompense grossière. C’est bruité, mais cela passe à l’échelle, et cela ne demande aucune ingénierie propre à chaque tâche. Les équipes travaillant sur des agents physiques généralistes, dont NVIDIA GEAR Lab research et Physical Intelligence blog, s’appuient sur des signaux appris et fondés sur des modèles plutôt que sur des récompenses réglées à la main.
| Source de récompense | Données requises | Passe à l’échelle ? | Principale faiblesse |
|---|---|---|---|
| Récompense conçue à la main | Temps d’ingénieur par tâche | Non | Reward hacking, succès inobservable |
| Préférences humaines | Comparaisons de clips par paires | Modéré | Coût d’annotation, cohérence des évaluateurs |
| RL inverse à partir de démonstrations | Démonstrations d’experts | Modéré | Sensible à la qualité des démonstrations |
| VLM comme juge | Un modèle vision-langage performant | Élevé | Bruité, peut être détourné |
Ce que cela signifie pour les données que vous collectez
Le passage de récompenses écrites à des récompenses apprises fait porter la charge sur les données, et change la nature des données qui ont de la valeur. Si votre récompense provient de préférences, il vous faut des comparaisons par paires et, surtout, des échecs à comparer aux succès. Si elle provient de démonstrations, la qualité des démonstrations devient la qualité de la récompense. Dans les deux cas, un jeu de données ne contenant que des succès propres vaut moins qu’un jeu de données qui capture aussi les quasi-échecs, les corrections et les échecs nets, car un modèle de récompense apprend la frontière entre le bon et le mauvais à partir des deux côtés.
Il y a un point plus subtil, celui de l’équilibre. Un modèle de récompense entraîné uniquement sur des exécutions sans faute n’apprend jamais ce que coûte une petite erreur, et ne peut donc pas ramener une politique du bord du gouffre. Vous voulez une répartition : des succès assurés, des succès marginaux et des échecs francs, chacun annoté. Constituer cette répartition est une décision de collecte de données prise bien avant le début de tout entraînement.
C’est un thème récurrent dans les travaux actuels de robotique indexés sur arXiv Robotics (cs.RO). La récompense, la politique et les données ne sont pas des problèmes séparables. Décidez comment vous évaluerez le comportement et vous aurez à moitié décidé ce qu’il faut capturer.
La récompense est désormais un problème de données
Les récompenses échouent dans le monde réel pour une raison facile à énoncer et difficile à corriger : ce que vous voulez récompenser est ce que vous ne pouvez pas voir. Les modèles de récompense appris ne suppriment pas cette difficulté. Ils la déplacent, de la formule d’un ingénieur vers un jeu de données fait de jugements humains et de démonstrations. C’est un progrès, car les données passent à l’échelle, ce que ne fait pas le réglage à la main. Cela signifie aussi que la fonction de récompense n’est plus une note de bas de page dans un cycle d’entraînement. C’est un problème de données, et celui qui capture les bonnes comparaisons et les bons échecs en détient une part.