Le clonage comportemental expliqué : la méthode par défaut, et ses limites
Le clonage comportemental est le cheval de bataille de l’apprentissage robotique. Pourquoi il est devenu la méthode par défaut, l’erreur cumulative qui le fait échouer, et ce que de meilleures données corrigent.
Montrez à un bras robotisé deux cents exemples propres de saisie d’une tasse, et il apprend à saisir une tasse. Décalez la tasse de dix centimètres vers la gauche, au-delà de tout emplacement où une démonstration l’avait jamais placée, et le bras se tend avec une confiance totale vers le vide. Rien ne l’a prévenu. La politique n’a même jamais été incertaine.
Cet échec est la signature du clonage comportemental (behavior cloning), la méthode qui tourne discrètement sous la plupart des démonstrations de manipulation que vous avez vues cette année. Elle est simple. Elle passe à l’échelle avec les données. Et elle échoue d’une seule manière prévisible. Savoir exactement où elle échoue en dit plus sur ce qu’un pipeline de capture doit produire que n’importe quel classement de benchmark.
Il vaut donc la peine d’être précis sur trois points : ce que fait le clonage comportemental, pourquoi il est devenu la méthode par défaut, et le mécanisme qui condamne sa version naïve.
Ce que fait réellement le clonage comportemental
Le clonage comportemental traite le contrôle comme un problème d’apprentissage supervisé. Vous rassemblez des démonstrations, chacune étant une séquence de paires observation-action : ce que le robot a vu, et ce qu’un expert a fait ensuite. Vous ajustez ensuite une fonction qui associe l’observation à l’action, en réduisant l’écart entre l’action prédite par le modèle et celle de l’expert. Pas de fonction de récompense. Pas de simulateur. Pas d’exploration. Si un humain peut montrer la tâche, vous pouvez, en principe, la cloner. C’est pourquoi les corpus de téléopération comme DROID et les agrégations comme Open X-Embodiment pèsent autant : ils sont le carburant que la méthode brûle.
L’attrait est honnête. L’apprentissage par renforcement exige une récompense que vous pouvez formuler et des millions d’essais que vous pouvez vous permettre de mener. Pour la manipulation riche en contacts, ces deux exigences font mal. Le clonage comportemental échange l’ingénierie de la récompense contre des démonstrations, et un téléopérateur compétent peut produire des démonstrations à longueur de journée. Des chaînes d’outils ouvertes comme LeRobot fournissent désormais la boucle d’entraînement, le format de données et des points de contrôle préentraînés, si bien qu’une première politique fonctionnelle représente un week-end d’effort plutôt qu’un trimestre.
Pourquoi il est devenu la méthode par défaut
Trois forces ont poussé le clonage comportemental au centre de la Physical AI.
- Les données ont enfin rattrapé leur retard. Il y a dix ans, il n’existait aucun corpus de manipulation partagé qui vaille la peine d’un préentraînement. Aujourd’hui, il existe une véritable échelle couvrant de nombreux corps de robots, et le clonage est la seule méthode qui transforme des démonstrations brutes en politique quasiment sans formalités.
- Il profite du préentraînement. Les modèles Vision-Langage-Action (VLA) modernes se préentraînent sur de vastes ensembles de vision et de langage issus du web, puis clonent le comportement pour rattacher un corps à ces connaissances. Physical Intelligence a construit pi0 dans cette logique, l’imitation venant se superposer à une grande dorsale préentraînée, comme le décrivent ses notes publiques.
- Il échoue de façon lisible. Quand une politique clonée se comporte mal, vous pouvez généralement remonter aux démonstrations et repérer le trou. Cette facilité de débogage compte davantage au quotidien qu’un gain marginal sur un classement.
| Approche | Ce qu’elle exige | Appétit en données | Meilleure quand | Principal mode d’échec |
|---|---|---|---|---|
| Clonage comportemental | Démonstrations d’experts | Modéré, sensible à la qualité | Mise en route rapide, compétences riches en contacts | Décalage de distribution |
| RL hors ligne | Données journalisées et étiquettes de récompense | Grand, tolère une qualité hétérogène | Extraire du signal de journaux imparfaits | Surestimation de la valeur |
| RL en ligne | Simulateur ou essais sûrs et récompense | Très grand en nombre d’essais | Performance maximale asymptotique | Conception de la récompense et écart sim-to-real |
Là où il échoue : l’erreur cumulative
Voici le mécanisme. Une politique clonée n’est entraînée que sur les états qu’un expert visite, parce que ce sont les seuls états présents dans les données. Au moment du test, la politique commet une petite erreur et se retrouve dans un état à peine décalé du chemin de l’expert. Cet état n’a jamais figuré dans l’entraînement, si bien que la prédiction suivante est un peu moins bonne, ce qui éloigne davantage le robot du chemin, ce qui rend la prédiction d’après plus mauvaise encore. Les erreurs ne s’additionnent pas. Elles se composent. Les chercheurs appellent cela décalage des covariables, ou décalage de distribution, et c’est la raison pour laquelle une politique dont la précision par pas est élevée peut malgré tout échouer sur une tâche longue, un point souligné à maintes reprises sur le BAIR blog, là où la lignée de travaux DAgger a débuté.
L’horizon est le multiplicateur. Une saisie de deux secondes pardonne beaucoup. Une séquence d’assemblage de quatre-vingt-dix secondes laisse à la dérive quatre-vingt-dix secondes pour s’installer.
Le clonage comportemental apprend quoi faire dans les états qu’un expert visite. Tout son problème réside dans les états qu’un expert ne visite jamais, et un robot les atteint dès l’instant où il commet sa première erreur.
Les correctifs, et ce qu’ils exigent des données
Tout correctif sérieux attaque le même écart, et la plupart sont en réalité des stratégies de données déguisées.
- Remettre l’expert dans la boucle. DAgger exécute la politique courante, enregistre les états qu’elle atteint réellement, et demande à un expert l’action correcte à cet endroit. Le jeu de données croît vers la distribution réelle de la politique plutôt que vers celle, bien rangée, de l’expert.
- Prédire par blocs. Le découpage d’actions en blocs (action chunking) et l’agrégation temporelle (temporal ensembling) amènent le modèle à s’engager d’un coup sur une courte rafale d’actions futures, ce qui réduit le nombre de points de décision où la dérive peut s’immiscer.
- Modéliser toute la distribution des actions. Les politiques de diffusion (diffusion policies) représentent le fait que plusieurs bonnes actions existent à une bifurcation, au lieu de les moyenner en une seule mauvaise, ce qui est un échec classique du clonage.
- Capturer les rattrapages. Le correctif le moins coûteux, c’est souvent de meilleures données : des démonstrations qui incluent les glissements, les reprises de saisie et les corrections, pour que la politique ait vu quoi faire après une erreur, et pas seulement comment être parfaite.
Le fil conducteur est inconfortable pour quiconque vend des données propres. Un corpus de réussites sans faille apprend à une politique à se retrouver démunie dès l’instant où elle sort du chemin démontré.
La variable qui décide vraiment du déploiement
Le clonage comportemental ne va disparaître nulle part. Il est le substrat sur lequel se construit presque chaque pile logicielle humanoïde. Mais le traiter comme une boîte noire qui convertit par magie des démonstrations en compétences masque l’unique variable qui décide si une politique survit au monde réel : à quel point ses états d’entraînement couvrent les états qu’elle rencontrera réellement. Les équipes qui l’emporteront ne se contenteront pas de collecter davantage de démonstrations. Elles collecteront les bonnes, y compris les rattrapages disgracieux qu’une séance de laboratoire propre est tentée de jeter.