Apprentissage par imitation contre apprentissage par renforcement pour la manipulation

Observez une politique de manipulation moderne apprendre à plier une chemise, et ce qui surprend, c’est le peu qu’elle voit. Un téléopérateur enfile un casque, fait rejouer le mouvement aux bras du robot quelques dizaines de fois, et une politique entraînée sur ces séquences se met à plier toute seule. Demandez maintenant à un agent d’apprentissage par renforcement d’acquérir la même compétence à partir de zéro, sur le même matériel. Il lui faut un signal de récompense, des milliers de tentatives, et une personne ou un dispositif pour défroisser la chemise après chaque essai raté. Même tâche, facture très différente.

Cet écart est la raison discrète pour laquelle la plupart des piles logicielles de manipulation, en 2026, se tournent d’abord vers l’imitation et ne recourent à l’apprentissage par renforcement qu’en second lieu, si tant est qu’elles y recourent. Ce n’est pas que l’apprentissage par renforcement soit faible. C’est que l’apprentissage par imitation évite les deux choses qui rendent le RL pénible sur des robots physiques : concevoir à la main une récompense dense pour une tâche riche en contacts, et collecter des millions d’essais sur du matériel qui s’use, se décale de son étalonnage, et ne peut pas se réinitialiser tout seul.

La question utile n’est pas de savoir quelle méthode est la meilleure dans l’absolu. C’est de savoir où chacune justifie son coût, et pourquoi les systèmes les plus solides aujourd’hui reposent sur l’imitation, l’apprentissage par renforcement venant se greffer en dernière étape, comme une touche de finition.

Le problème de la réinitialisation, et pourquoi le RL sur robot réel coûte cher

L’apprentissage par renforcement a besoin de trois choses qui sont bon marché dans un jeu vidéo et coûteuses sur un robot : une fonction de récompense, beaucoup d’interaction, et un moyen de tout recommencer. Dans un simulateur, ces trois choses sont gratuites. Un humanoïde peut tomber cent mille fois avant midi, et la scène revient instantanément à son état initial. Sur du matériel réel, chaque chute est de l’usure, chaque réinitialisation est un humain qui vient relever le robot ou reparsemer les blocs, et chaque récompense doit être mesurée par un capteur que l’on possède vraiment.

La conception de la récompense est le piège le plus subtil. « Visser le boulon » n’a pas de scalaire naturel. Les équipes finissent par façonner la récompense terme par terme : distance à la cible, alignement du filetage, pénalité pour force excessive, et la politique exploite allègrement la moindre faille de ce cahier des charges. Les tâches riches en contacts aggravent les choses, car la récompense informative n’arrive souvent qu’à la toute fin, après une longue séquence de gestes précis. Récompense éparse et long horizon, c’est exactement le régime où le RL sans modèle est le moins efficace en échantillons.

La simulation évite le problème du coût en échantillons, mais ouvre l’écart sim-to-real : la dynamique de contact, le frottement et les objets déformables sont précisément ce que les simulateurs modélisent le plus mal. La simulation massivement parallèle et une randomisation de domaine agressive ont fait de la locomotion un authentique succès du RL, et des plateformes comme la pile Isaac de NVIDIA existent pour faire avancer ce pipeline. La manipulation dextre et riche en contacts a mis plus de temps à franchir cet écart.

Ce que l’imitation apporte réellement

L’apprentissage par imitation échange la fonction de récompense contre des démonstrations. La forme la plus ancienne, le clonage comportemental, se contente de faire de l’apprentissage supervisé, des observations vers les actions. Sa faiblesse classique est l’erreur cumulative : un petit écart entraîne le robot dans des états qu’aucune démonstration n’a couverts, et les erreurs s’accumulent en boule de neige. Pendant des années, cela a rendu le clonage pur fragile.

Les progrès récents viennent précisément de la correction de ce défaut. Le découpage d’actions en blocs (action chunking), popularisé par ALOHA et son modèle ACT, prédit de courtes séquences d’actions plutôt que des pas isolés, ce qui lisse la dérive. Les politiques de diffusion (diffusion policies), issues des travaux du Toyota Research Institute et de la lignée de Columbia, traitent la génération d’actions comme un processus de débruitage et gèrent le comportement multimodal, le fait qu’il existe de nombreuses façons valables de saisir une tasse, sans les moyenner en une bouillie. Ces méthodes apprennent des compétences utilisables à partir de quelques dizaines à quelques centaines de démonstrations par tâche, et non de millions.

L’échelle a ensuite relevé le plafond. Des jeux de données cross-embodiment ont mutualisé des démonstrations entre laboratoires : Open X-Embodiment a rassemblé de l’ordre d’un million de trajectoires réelles couvrant 22 types de robots, et DROID a ajouté environ 76 000 trajectoires téléopérées, collectées en conditions réelles dans de nombreuses scènes. Les modèles vision-langage-action entraînés sur ce type de données, le pi-0 de Physical Intelligence, le GR00T de NVIDIA, et Gemini Robotics de DeepMind parmi eux, héritent d’une généralisation sémantique issue du préentraînement web et d’un ancrage moteur issu des démonstrations. Aucun d’entre eux n’a appris à manipuler principalement par essais et erreurs.

L’apprentissage par renforcement répond à une question à laquelle l’imitation ne peut pas répondre : que faire quand il n’existe aucun expert à copier. Sur du matériel réel, le coût de cette question, c’est toute l’histoire.

Là où l’apprentissage par renforcement l’emporte encore

L’imitation a un plafond dur : une politique clonée est bornée par les personnes qui l’ont démontrée. Quand une tâche exige un comportement qu’aucun humain ne peut bien téléopérer, ou une précision au-delà de la patience humaine, le RL justifie son coût.

• Insertion de précision, riche en contacts. L’insertion axe-trou, l’accouplement de connecteurs et la réorientation dans la main impliquent des forces et des micro-ajustements difficiles à démontrer mais faciles à noter avec un détecteur de succès. Le fine-tuning par RL comble ici, presque systématiquement, les derniers points de pourcentage de taux de réussite.
• Contrôle dynamique et du corps entier. La locomotion, la récupération d’équilibre et le lancer sont les succès du RL les plus nets, ce qui explique pourquoi les équipes de locomotion de Boston Dynamics et d’Agility s’appuient dessus. Ces comportements sont suffisamment cohérents sur le plan physique pour s’entraîner en simulation et se transférer.
• Optimisation surhumaine. Quand on veut le mouvement le plus rapide, le plus fluide ou le plus efficace en force plutôt qu’un mouvement humain, un objectif l’emporte sur une démonstration.

Le schéma pratique est rarement du RL pur. C’est du RL résiduel ou de fine-tuning : on part d’une politique par imitation, puis on laisse le RL la corriger dans une marge étroite, en utilisant un signal de succès appris ou scripté plutôt qu’une récompense dense façonnée à la main. On conserve l’efficacité en échantillons et la sécurité de l’imitation, et l’on ne dépense l’interaction réelle coûteuse que là où elle fait bouger le chiffre.

Deux méthodes, côte à côte

La pile que la plupart des équipes déploient réellement

Lisez les publications récentes, et une forme commune apparaît. Une grande politique est préentraînée sur des démonstrations, données de robots téléopérés, et de plus en plus, de la vidéo humaine, puis adaptée à un robot et une tâche spécifiques avec un nombre modeste de démonstrations sur le robot cible, et alors seulement, si les derniers points de pourcentage comptent, affinée par apprentissage par renforcement face à un détecteur de succès. Les Large Behavior Models de Toyota et les modèles de fondation VLA cités plus haut suivent tous cette ossature imitation d’abord ; le RL est un scalpel, pas le moteur.

La raison est autant économique que technique. Les démonstrations sont un coût fixe et prévisible, qui passe à l’échelle avec les personnes et les montages. Le RL sur robot réel est un coût variable, qui passe à l’échelle avec la ressource que l’on est le moins disposé à dépenser : les heures de matériel et le travail de réinitialisation. Quand une démonstration est disponible, c’est presque toujours l’option la moins chère.

La formulation honnête n’est donc pas imitation contre apprentissage par renforcement. C’est l’imitation comme choix par défaut qui obtient une politique compétente à moindre coût, et l’apprentissage par renforcement comme l’outil ciblé qui pousse au-delà de ce que les humains peuvent démontrer. Les équipes qui livrent une manipulation performante ne choisissent pas un camp. Elles choisissent un ordre : copier d’abord, optimiser ensuite, et ne dépenser l’interaction réelle rare que là où la copie ne suffit plus.