Post-training d’un VLA : de la policy généraliste à la policy spécialisée
Le fine-tuning transforme une policy robotique généraliste en une policy déployable. Un examen concret du post-training d’un VLA : méthodes, données, modes de défaillance et évaluation.
Une policy de pliage qui atteint 90 % de réussite en laboratoire peut retomber au niveau d’un tirage à pile ou face dès que quelqu’un remplace la serviette par une plus rigide, déplace la table de six pouces, ou laisse entrer le soleil de l’après-midi dans la pièce. Les poids n’ont pas changé. C’est le monde qui a changé. Cet écart, entre une policy qui fait la démonstration et une policy qu’on peut déployer, se comble presque toujours en post-training, et non dans la phase de préentraînement dont tout le monde parle.
Un modèle vision-langage-action (VLA) fait correspondre les images de caméra et une instruction en langage naturel directement à des actions de robot. Un checkpoint généraliste, l’Isaac GR00T N1 de NVIDIA ou le π0 de Physical Intelligence, a déjà absorbé une large tranche de morphologies, de scènes et de verbes. Il porte un a priori grossier de ce que veut dire « prends la tasse » et de la façon dont un bras s’élance vers une cible. Ce qu’il n’a jamais vu, c’est votre préhenseur, les paramètres extrinsèques de votre caméra, votre éclairage, ou votre définition de ce qui est « terminé ». Le post-training est l’étape qui transforme cet a priori large en une policy qui accomplit une tâche de façon fiable.
La répartition des rôles est inconfortable : le préentraînement fixe le plafond, le post-training décide si vous l’atteignez. Les équipes passent des mois à choisir un modèle de base, puis perdent le déploiement sur une recette de fine-tuning qu’elles ont traitée comme un détail secondaire. Ce qui suit, c’est ce que cette recette contient réellement, là où elle casse, et pourquoi la composition des données de fine-tuning compte plus que leur volume brut.
Ce que l’a priori généraliste vous apporte réellement
Le préentraînement sur des données regroupées, inter-morphologies, apporte une généralisation que les seules données de tâche ne peuvent pas donner. Le projet Open X-Embodiment l’a montré clairement : regrouper de l’ordre d’un million de trajectoires réparties sur 22 types de robots et co-entraîner un seul modèle a surpassé la même architecture entraînée sur les données d’un unique robot. Les représentations se transfèrent. Un bras qui a vu des milliers de cuisines apporte une notion utilisable de « tasse » et de « poignée » dans une cuisine où il n’est jamais entré.
Ce que l’a priori n’apporte pas, c’est la compétence sur la distribution précise qui vous intéresse. Les travaux de Toyota Research Institute sur les Large Behavior Models affinent le propos : une policy préentraînée ne se contente pas de partir de plus haut, elle a besoin de moins de démonstrations pour atteindre un taux de réussite cible sur une nouvelle compétence. Le préentraînement décale toute la courbe d’efficacité des données vers le bas et vers la gauche. Le post-training, c’est la façon dont vous dépensez cette efficacité.
Un VLA généraliste vous remet une policy plausible partout et fiable nulle part. Le post-training est la négociation sur l’endroit où vous dépensez la fiabilité.
La recette du post-training, et ce que commande chaque levier
« Fine-tuner le VLA » masque au moins quatre opérations différentes. Choisir la mauvaise coûte des semaines.
| Approche | Ce qui change | Données typiques | Principal mode de défaillance |
|---|---|---|---|
| Fine-tuning complet | Tous les poids | De quelques centaines à quelques milliers de démonstrations cibles | Oubli catastrophique, surapprentissage sur le rig |
| Efficace en paramètres (LoRA, adaptateurs) | Petits poids ajoutés | De quelques dizaines à quelques centaines de démonstrations | Capacité trop faible pour un fort décalage de domaine |
| Co-entraînement (co-training) | Tous les poids, lots mélangés | Démonstrations cibles plus une part du mélange de préentraînement | Nécessite les données de préentraînement, et un ratio de mélange à régler |
| Post-training par RL | Policy sous récompense | Rollouts sur robot réel ou simulés | Conception de la récompense, coût d’échantillonnage, sécurité |
La plupart des systèmes livrés les combinent. Physical Intelligence a décrit le π0 comme une base préentraînée, ensuite post-entraînée sur des données de haute qualité, soigneusement sélectionnées pour le comportement cible ; et le co-entraînement sur une part du mélange d’origine est la défense standard contre l’oubli. Le Gemini Robotics de Google DeepMind est présenté de la même manière : un modèle large, spécialisé pour de nouvelles tâches et de nouvelles morphologies, avec notamment une variante embarquée plus petite que les équipes peuvent adapter avec un ensemble modeste de démonstrations.
Combien de données, et de quelle nature
La question du volume a une réponse ennuyeuse et une réponse intéressante. La réponse ennuyeuse : pour une seule tâche de manipulation bien délimitée sur un rig fixe, quelques centaines de démonstrations téléopérées propres suffisent souvent à faire passer un VLA préentraîné de non fiable à utilisable. La réponse intéressante, c’est que la composition l’emporte sur le nombre. Cent démonstrations qui couvrent les cas délicats, la préhension manquée, l’objet au bord de l’espace de travail, la récupération après un glissement, en apprennent plus que mille réussites quasi identiques.
La provenance et la cohérence comptent autant que les trajectoires brutes. DROID est instructif : environ 76 000 trajectoires téléopérées recueillies dans des centaines de scènes et des dizaines de bâtiments, délibérément construites pour la diversité visuelle et spatiale plutôt que pour la seule taille. Les données de fine-tuning héritent des biais de la façon dont elles ont été collectées. Si chaque démonstration a été enregistrée sous la même lampe avec les trois mêmes objets, la policy apprendra discrètement la lampe. La diversité dans le jeu de fine-tuning n’est pas un simple bonus, c’est ce qui survit au contact d’une nouvelle pièce.
Là où le fine-tuning casse discrètement
Trois modes de défaillance reviennent. Le premier est l’oubli catastrophique : poussez tous les poids fortement vers une seule tâche et le modèle perd l’ancrage linguistique et la dextérité générale qui faisaient tout l’intérêt de la base. Le co-entraînement et les méthodes efficaces en paramètres existent surtout pour combattre cela.
Le deuxième est la corrélation fallacieuse. Une policy fine-tunée sur un ensemble étroit apprend tout ce qui prédit la récompense dans cet ensemble, y compris la nappe, l’heure de la journée, ou l’habitude de l’opérateur de toujours partir de la même pose. Elle paraît brillante en évaluation et s’effondre dès que l’un de ces indices accessoires bouge. Le troisième est l’incompatibilité de l’espace d’action : un modèle de base préentraîné sur de nombreuses morphologies encode les actions selon une convention, et si l’interface de commande de votre robot, sa fréquence, ou la géométrie de son préhenseur ne concordent pas, le fine-tuning dépense son budget à réapprendre l’interface au lieu de la tâche.
L’évaluation, la partie que les équipes sous-estiment
On ne peut pas faire confiance à une policy fine-tunée sur la seule perte d’entraînement. L’évaluation sur robot réel est coûteuse, lente et statistiquement bruitée, ce qui est précisément la raison pour laquelle on la saute. Toyota Research Institute a fait preuve d’une transparence inhabituelle en menant des évaluations matérielles à l’aveugle, statistiquement contrôlées, avec assez d’essais pour séparer un gain réel de la chance, et cette discipline mérite d’être copiée. Une policy qui rapporte 8 réussites sur 10 essais et une policy qui en rapporte 80 sur 100 ne font pas la même affirmation. Décidez d’emblée combien d’essais, sous combien de variation, valent « terminé », et tenez le fine-tuning à cette exigence.
Le checkpoint généraliste, c’est les 80 % faciles. Le spécialiste que vous pouvez réellement déployer vit dans la dernière ligne droite : quelques centaines de démonstrations bien choisies, une méthode de fine-tuning adaptée à l’ampleur du décalage de domaine, et une évaluation assez honnête pour vous dire quand vous arrêter. Traitez cette dernière ligne droite comme l’essentiel, car pour quiconque livre un robot, elle l’est.