La politique de diffusion, expliquée : le contrôle robotique génératif

Imaginez une pince qui doit atteindre une tasse posée au milieu d’un plan de travail encombré. Deux démonstrations lui ont enseigné la tâche : l’une contourne la tasse par la gauche, l’autre par la droite. Les deux sont correctes. Entraînez maintenant un réseau à les imiter en minimisant l’erreur quadratique, et observez ce qu’il apprend : la moyenne des deux trajectoires, une ligne droite qui fonce à travers la tasse qu’il était censé éviter.

Cet échec porte un nom, le mode averaging, et pendant des années il a discrètement plafonné l’efficacité du behavioral cloning sur la manipulation réelle. La solution qui a fini par s’imposer ne venait pas du tout de la robotique. Elle venait de la génération d’images. Un modèle de diffusion, la même classe de méthode qui sous-tend les systèmes de génération d’images à partir de texte, se révèle être une façon exceptionnellement efficace de représenter l’ensemble des actions qu’un robot pourrait raisonnablement entreprendre. Entre 2023 et 2026, il est passé d’un article ingénieux à la tête d’action par défaut dans une grande partie du domaine : Toyota Research Institute fonde ses Large Behavior Models sur lui, Physical Intelligence déploie une variante à flow matching dans π0, et les modèles de fondation GR00T de NVIDIA génèrent le mouvement de la même manière.

Cet article explique pourquoi un modèle génératif, plutôt qu’un simple régresseur ou un classifieur, est devenu le choix naturel pour l’action robotique multimodale, comment une politique de diffusion fonctionne sous le capot, et ce qu’elle exige discrètement des données qui l’entraînent.

Le problème que la simple régression ne peut résoudre

Le behavioral cloning standard traite le contrôle comme une régression : étant donné les images caméra et l’état du robot actuels, prédire l’action suivante, et entraîner en poussant la prédiction vers l’action démontrée à l’aide d’une fonction de perte d’erreur quadratique moyenne. Cette perte comporte une hypothèse cachée, intégrée d’emblée. Elle présuppose que la bonne réponse est un point unique, et qu’en être proche au sens de la distance euclidienne est toujours bon.

La manipulation brise ces deux hypothèses. Les démonstrations humaines sont richement multimodales : il existe de nombreuses bonnes façons de saisir une tasse, de contourner l’encombrement ou de réorienter une pièce, et elles ne sont pas proches les unes des autres dans l’espace d’action. Faites la moyenne de deux trajectoires valides et vous en obtenez souvent une invalide. Une politique à tête gaussienne, contrainte de nommer une seule action, soit s’effondre sur la moyenne, soit oscille entre les modes. Discrétiser l’espace d’action et prédire des tokens de façon autorégressive, l’approche de RT-1 et OpenVLA, esquive le moyennage mais se paie en longueur de séquence et peine sur le contrôle continu fin.

Une politique générative reformule la question. Au lieu de « quelle est la meilleure action unique », elle modélise « quelle est la distribution des bonnes actions », puis en tire des échantillons. Elle échantillonne la trajectoire de gauche ou celle de droite, chacune propre et cohérente en elle-même, et jamais le mélange ruineux des deux.

La régression demande à une politique de nommer la seule meilleure action. La génération lui demande de décrire l’espace des bonnes actions. La manipulation riche en contacts vit dans l’écart entre ces deux questions.

Comment fonctionne réellement une politique de diffusion

Une politique de diffusion emprunte intégralement la recette du débruitage. On part d’un bloc de bruit gaussien pur, mis en forme comme une courte séquence d’actions futures. Un réseau de neurones, conditionné sur les observations récentes, prédit comment pousser ce bruit un peu plus près d’une séquence d’actions plausible. Répétez cette poussée pendant un nombre fixe d’étapes, et le bruit se résout en une trajectoire cohérente. L’entraînement fait l’inverse : prenez un vrai bloc d’actions démontré, ajoutez du bruit à un niveau aléatoire, et apprenez au réseau à prédire le bruit qu’il doit retirer.

Deux choix de conception font l’essentiel du travail. Premièrement, la politique prédit un bloc d’actions (action chunk), une séquence de la douzaine de pas de temps suivants, et non un pas unique. Le découpage en blocs rend la distribution cible plus lisse, encode l’intention à court terme, et réduit l’erreur cumulative qui accable le clonage pas à pas. Deuxièmement, elle applique un contrôle à horizon fuyant : prédire un bloc, n’exécuter que les premières actions, puis replanifier à partir de nouvelles observations. La politique reste réactive tout en s’engageant sur un mouvement localement cohérent. Les travaux originaux d’ACT sur le dispositif ALOHA ont popularisé le découpage en blocs ; la diffusion a ajouté l’ossature générative qui a rendu ces blocs véritablement multimodaux.

Diffusion, flow matching et la course à la vitesse

La frontière visible s’est largement déplacée de la diffusion classique vers le flow matching, une recette générative étroitement apparentée qui apprend un champ de vitesses direct, du bruit vers les données, plutôt qu’une longue chaîne de débruitage stochastique. En pratique, le flow matching peut produire un bon bloc d’actions en une poignée d’étapes d’intégration au lieu de dizaines d’étapes de débruitage, ce qui compte énormément lorsque le modèle doit tourner à l’intérieur d’une boucle de contrôle. Le π0 de Physical Intelligence associe une ossature vision-langage à un « expert d’action » à flow matching qui émet des commandes continues à haute fréquence ; le GR00T N1 de NVIDIA utilise un module d’action à transformeur de diffusion sur un canevas similaire. Le schéma est désormais standard : un grand modèle multimodal pour la perception et la sémantique, une tête générative pour le mouvement fin, rapide et multimodal.

Ce que cela coûte, et les astuces qui font baisser la facture

La génération n’est pas gratuite. Chaque bloc d’actions échantillonné nécessite plusieurs passes avant dans le réseau d’action, ce qui explique pourquoi les politiques de diffusion naïves faisaient tourner leurs boucles de contrôle lentement et pourquoi les déploiements réels s’appuient fortement sur l’accélération. Les équipes se tournent vers des échantillonneurs de type DDIM qui réduisent le nombre d’étapes, vers des objectifs de distillation et de type consistency qui poussent vers une ou deux étapes, et vers le flow matching précisément parce qu’il requiert moins d’évaluations de fonction. L’exécution à horizon fuyant aide aussi : un bloc d’une douzaine d’actions amortit un tour d’échantillonnage sur de nombreux cycles de contrôle, de sorte qu’une politique peut échantillonner à quelques hertz tout en commandant les moteurs à une fréquence bien plus élevée. Le tableau ci-dessous esquisse le paysage des représentations d’action et la place qu’y occupe la diffusion.

Pourquoi le goulot d’étranglement s’est déplacé vers les données

Voici la part que l’on sous-estime. Une politique de diffusion ne peut être multimodale que dans la mesure où le sont les démonstrations qu’on lui fournit. Si chaque opérateur de votre jeu de données contourne la tasse du même côté, la « distribution des bonnes actions » ne compte qu’un seul mode, et la machinerie générative n’a rien à générer. La force de la méthode, modéliser fidèlement l’étendue du comportement humain, se convertit directement en un appétit pour des données qui contiennent réellement cette étendue : de nombreux opérateurs, de nombreux agencements d’objets, de nombreuses stratégies, le tout capturé avec une instrumentation suffisante pour reconstruire ce que faisaient les mains et les contacts.

C’est pourquoi les progrès des deux dernières années suivent les jeux de données autant que les architectures. Open X-Embodiment a mutualisé des démonstrations issues de dizaines de robots et de laboratoires ; DROID a poussé pour l’échelle et la diversité des scènes en conditions réelles ; des corpus de vidéos humaines égocentriques comme Ego4D et Ego-Exo4D ont étendu la même logique au comportement humain à la première personne. Les implémentations ouvertes du LeRobot de Hugging Face ont ensuite fait de l’entraînement d’une politique de diffusion sur ces données une affaire de jours, et non de trimestres.

Où cela nous mène

La diffusion n’a pas remporté le contrôle robotique parce qu’elle est à la mode. Elle l’a emporté parce qu’elle répond à la bonne question, décrire un espace de bonnes actions au lieu d’en deviner une, et parce que la manipulation riche en contacts est multimodale de part en part. Les problèmes ouverts sont aujourd’hui peu spectaculaires et bien réels : réduire encore le coût d’échantillonnage, prouver la fiabilité dont ces politiques ont besoin pour sortir du laboratoire, et surtout leur fournir des démonstrations assez diverses pour qu’il vaille la peine de les modéliser de façon générative. L’architecture est presque stabilisée. Les données, c’est là que se jouera le débat des prochaines années.