Les lois d’échelle en robotique : plus de données l’emportent-elles ?

Regroupez plus d’un million de trajectoires robotiques issues de vingt-deux morphologies, entraînez une seule politique sur l’ensemble, et ce qui frappe n’est pas que cela fonctionne. C’est la modestie avec laquelle les chiffres progressent. C’est l’une des leçons d’Open X-Embodiment, la collaboration de 2023 qui a fusionné plus de 60 jeux de données provenant de 21 institutions en un seul mélange d’entraînement. Le co-entraînement a produit un véritable transfert positif, mais rien de comparable à la progression nette et prévisible qu’un modèle de langage offre chaque fois qu’on lui fournit davantage de texte.

La question sous-jacente est facile à formuler et difficile à trancher. Les grands modèles de langage obéissent à des lois d’échelle : fournissez davantage de paramètres, de tokens et de calcul dans les bonnes proportions, et la perte diminue selon une loi de puissance que l’on peut extrapoler sur des années. Cela vaut-il aussi pour les politiques robotiques ? Si Physical Intelligence, une douzaine de laboratoires spécialisés en humanoïdes et Roborecs parient tous que davantage de données de démonstration achète un meilleur comportement, il vaut la peine de se demander précisément où ce pari paie, et où il s’essouffle discrètement.

La réponse honnête : davantage de données aide, mais la courbe robotique obéit à un facteur que la courbe linguistique a largement ignoré, à savoir la couverture. Une politique robotique ne vaut que par la portion du monde que ses données ont touchée, et le monde du contact physique est bien plus vaste, et bien plus coûteux à échantillonner, que le texte disponible sur internet.

Ce que les lois d’échelle du langage promettaient réellement

Les résultats de Kaplan en 2020 et la correction Chinchilla en 2022 ont fourni au domaine une formule. La perte de test diminuait selon une loi de puissance en fonction de la taille du modèle, de la taille du jeu de données et du calcul, les trois devant croître ensemble. Il vaut la peine de dire clairement pourquoi cela a fonctionné. Le pré-entraînement du langage est auto-supervisé, si bien que chaque phrase du web constitue une supervision gratuite. L’objectif, prédire le token suivant, est identique à l’entraînement et au test. Et le corpus existait déjà à l’échelle de milliers de milliards de tokens : personne n’a eu besoin de le fabriquer.

Les robots n’héritent gratuitement d’aucune de ces trois propriétés. Il n’existe pas de corpus de manipulation comptant des milliers de milliards de trajectoires stocké sur un serveur. L’objectif d’entraînement, imiter une action, n’est pas ce à quoi le robot est confronté au déploiement, où il doit se remettre de ses propres erreurs. Et chaque unité de données coûte du temps matériel réel.

Là où l’analogie tient

Tout ne diverge pas. L’idée la plus féconde de ces trois dernières années est qu’une politique robotique peut emprunter un socle langage ou vision dont la montée en échelle a déjà été financée ailleurs. Les modèles vision-langage-action, dont RT-2, Gemini Robotics, π0 de Physical Intelligence, et NVIDIA Isaac GR00T, partent d’un VLM pré-entraîné sur le web et y greffent un décodeur d’action. L’a priori sémantique, ce qu’est une tasse, ce que signifie « essuie l’éclaboussure », arrive gratuitement, et RT-2 a montré qu’une partie de cette généralisation sémantique se transmet au comportement du robot. La politique n’a plus qu’à apprendre le dernier kilomètre de l’ancrage moteur.

Le regroupement inter-morphologies se transfère aussi, jusqu’à un certain point. RT-X a montré qu’une politique entraînée sur de nombreux robots surpassait les références entraînées sur un seul robot. DROID, environ 76 000 démonstrations réparties sur 564 scènes recueillies dans 13 institutions, a été conçu pour que ce soit la diversité des scènes et des tâches, et non le volume brut, qui nourrisse le modèle.

Là où elle se brise

Voici les points d’articulation où l’analogie craque.

Les erreurs s’accumulent. Un modèle de langage qui prédit mal un token passe simplement au suivant. Une politique fonctionne en boucle fermée : une petite erreur déplace le robot vers un état que ses données d’entraînement n’ont jamais couvert, l’action suivante est pire, et la trajectoire dérive hors de la variété des données. Ce décalage de covariables (covariate shift) signifie que la performance en conditions réelles peut se dégrader plus vite que ne le prédirait n’importe quelle courbe de perte hors ligne.

Les données ne sont pas fongibles. Un token de plus est interchangeable. Une trajectoire de plus, issue d’un préhenseur différent, d’un placement de caméra différent ou d’une fréquence de contrôle différente, ne l’est pas. L’écart de morphologie (embodiment gap) signifie que les données d’un bras Franka ne se transfèrent pas proprement à une main humanoïde, si bien qu’on ne peut pas simplement tout additionner en espérant que l’ensemble aide.

Chaque seconde a un coût. La démonstration téléopérée se déroule en temps réel sur du matériel réel. Il n’existe aucun raccourci par scraping, ni aucun corpus synthétique qui se substitue pleinement au contact.

Ce qui fait réellement bouger l’aiguille

Si le volume seul n’est pas le levier, lequel l’est ? Les données des deux dernières années pointent vers la diversité et la distribution plutôt que vers le nombre.

En robotique, l’axe utile est rarement le nombre de démonstrations dont on dispose. C’est la part du monde de déploiement qu’elles ont touchée, et la faible part qu’elles ont laissée inexplorée.

Trois leviers reviennent sans cesse. La diversité des scènes et des objets, pour que la politique ait rencontré le contact dans de nombreuses conditions. La qualité et la cohérence des démonstrations, car une politique imite les habitudes de son démonstrateur, les bonnes comme les mauvaises. Et la couverture ciblée de la longue traîne, ces états rares où les robots déployés échouent réellement. Les travaux sur les Large Behavior Models du Toyota Research Institute soutiennent qu’un pré-entraînement multitâche large rend chaque nouvelle compétence moins coûteuse à ajouter, un rendement cumulatif que l’empilement de données mono-tâche ne procure pas.

Le raccourci des données humaines

C’est ici qu’intervient la vidéo égocentrique humaine. Une personne qui nettoie une cuisine produit un flux dense de contact, de dextérité et d’intention à la première personne, pour un coût bien inférieur à celui de la téléopération d’un robot pour les mêmes gestes. Ego4D a rassemblé des milliers d’heures de ce type de séquences ; Ego-Exo4D a ajouté des vues synchronisées, à la première et à la troisième personne, de tâches maîtrisées. Le pari partagé par le domaine est que ces données couvrent à bas coût la longue traîne humaine, et que l’écart entre une main humaine et une main robotique peut être comblé par un bon retargeting, associé à un plus petit volume de données captées directement sur le robot pour l’ancrer.

Ce n’est pas un repas gratuit. La vidéo humaine manque de proprioception robotique et d’étiquettes d’action propres, et l’écart de morphologie est réel. Mais comme moyen d’acheter de la couverture, l’axe qui borne réellement la performance des robots, elle revient bien moins cher à l’heure que n’importe quel dispositif de téléopération.

Alors, davantage de données signifie-t-il de meilleures politiques ? Oui, mais le mot qui fait le travail n’est pas « davantage », c’est « lesquelles ». Les modèles de langage pouvaient se permettre d’être négligents sur la distribution parce que le web couvrait déjà l’essentiel de ce qui leur serait un jour demandé. Les robots n’ont pas cette chance. Les équipes qui gagneront dans les prochaines années ne seront pas celles qui comptent le plus grand nombre de trajectoires. Ce seront celles dont les données correspondent le plus étroitement au monde désordonné, riche en contacts, et à longue traîne, dans lequel leurs robots sont envoyés.