Le goulot d’étranglement des données dans l’IA incarnée
La puissance de calcul et les architectures de modèles sont prêtes. Les données robotiques du monde réel ne le sont pas. Plongée dans le goulot d’étranglement des données qui freine l’IA incarnée, et dans la pyramide qui le sous-tend.
Les modèles de langage de la classe de GPT se sont entraînés sur quelque chose de proche de l’ensemble du web public : des milliers de milliards de mots que des milliards de personnes avaient déjà écrits, pour leurs propres raisons, et laissés traîner. Le domaine de la robotique adorerait disposer d’un équivalent. Il n’en a pas. Il n’existe aucun corpus géant d’un robot ramassant une tasse dix millions de fois, et aucun robot d’indexation web ne peut aller le fabriquer.
C’est le fait discret qui se cache derrière une bonne part de l’engouement pour l’IA incarnée (embodied AI). Les modèles sont bons. La puissance de calcul est disponible. La recette est, selon les standards de 2026, assez bien comprise. Ce qui manque, c’est le carburant : des données du monde réel de corps exécutant des tâches physiques, dans la quantité et la qualité qui ont fait fonctionner les modèles de langage. Les données sont la contrainte déterminante, et il vaut la peine d’être précis sur les raisons.
La puissance de calcul et l’architecture ont cessé d’être le mur
Il y a quelques années, vous pouviez incriminer le modèle. Ce n’est plus vraiment le cas. La conception dominante pour le contrôle incarné, le modèle vision-langage-action (VLA), est un transformer qui ingère des pixels et une instruction et émet des actions, et il ressemble beaucoup aux architectures déjà éprouvées sur le texte et les images. Open X-Embodiment a montré qu’une seule policy entraînée sur de nombreux types de robots surpasse les policies entraînées sur chacun isolément. NVIDIA Isaac GR00T et les Large Behavior Models du Toyota Research Institute ne sont, en termes d’architecture, pas exotiques. Ils sont voraces.
Donnez à l’un de ces modèles davantage de bonnes données et il s’améliore de la manière lisse et prévisible que nous avons observée avec le langage. C’est à la fois la partie encourageante et la partie frustrante. Le levier fonctionne. Le levier a besoin de données que nous n’avons pas.
Pourquoi le langage a eu la partie facile
Le texte est le gaz d’échappement de la pensée humaine. Nous en produisons constamment, pour nos propres besoins, et il est déjà numérisé. Entraîner un modèle de langage revenait à récolter un sous-produit qui existait de toute façon. Les actions physiques ne laissent aucune trace de ce genre. Lorsque vous videz un lave-vaisselle, aucun fichier n’est écrit. Les angles articulaires de votre poignet, la force dans vos doigts, l’ordre dans lequel vous avez choisi d’attraper les objets, tout cela s’évapore à l’instant où vous terminez.
La puissance de calcul évolue avec le capital, et l’architecture est en grande partie une recette partagée. Le seul intrant que vous ne pouvez pas acheter sur étagère, c’est un million d’heures de mains exécutant des tâches réelles.
L’IA incarnée ne peut donc pas accéder à un modèle de fondation en se contentant de scraper le web. Elle doit générer son jeu d’entraînement, action après action, et cela change complètement l’économie de la chose.
La pyramide des données
Une manière utile d’appréhender le problème est d’imaginer une pyramide, la plus large et la moins chère en bas, la plus étroite et la plus précieuse en haut. Chaque étage arbitre entre l’abondance et la fidélité à un robot réel.
| Étage | Source | Abondance | Fidélité à un robot | Coût approximatif par heure utile |
|---|---|---|---|---|
| Base | Texte et images du web | Pratiquement illimitée | Faible : sémantique uniquement, pas d’actions | Proche de zéro |
| Base | Vidéos humaines sur Internet | Très grande | Faible à moyenne : montre les tâches, sans annotations d’action ni de force | Faible |
| Intermédiaire | Simulation | Grande, à la demande | Moyenne : la physique est approximative, l’écart sim-to-real se fait sentir | Faible, plus l’ingénierie |
| Sommet | Démonstrations de robots téléopérés | Petite | Élevée : robot réel, contact réel | Élevé |
| Sommet | Démonstrations humaines dédiées | Petite mais croissante | Élevée : vraies mains, multimodale, nécessite un reciblage | Moyen à élevé |
La plupart des pipelines sérieux utilisent toute la pyramide. Vous pré-entraînez en bas pour obtenir de larges a priori visuels et sémantiques, vous gonflez le volume au milieu avec la simulation, et vous dépensez votre budget limité au sommet, là où les données ressemblent réellement à un robot entrant en contact avec le monde. La bataille se joue sur cet étage supérieur. C’est là que les policies deviennent fiables, et c’est la partie coûteuse.
Les proportions comptent plus qu’il n’y paraît. Une policy peut absorber des quantités énormes de données de base bon marché et manquer tout de même le dernier kilomètre, faute de quelques centaines de démonstrations à haute fidélité de la tâche exacte, sur le matériel exact. Les données bon marché fixent les a priori. Les données coûteuses fixent le comportement. Ratez le dosage et vous gâchez les deux.
La téléopération est coûteuse, la vidéo humaine est bon marché et brute
Deux façons de remplir le sommet de la pyramide, avec des problèmes opposés.
La téléopération place un humain dans la boucle qui pilote le robot réel, de sorte que chaque enregistrement est parfaitement annoté avec les actions et les capteurs propres au robot. C’est l’étalon-or de la fidélité. C’est aussi lent et coûteux : un opérateur, un robot, à peu près en temps réel, une tâche à la fois. DROID et les collections communautaires ne sont devenues volumineuses qu’au prix de mois de coordination entre de nombreuses institutions, et elles restent minuscules à côté d’un corpus web.
La vidéo humaine inverse le compromis. Les gens sont rapides, peu coûteux et habiles, et ils peuvent générer des démonstrations bien plus vite que n’importe quel robot téléopéré. Mais la vidéo humaine brute ne porte aucune annotation d’action, n’enregistre aucune force, et montre une main humaine qui doit être reciblée vers un effecteur terminal différent. Elle est moins chère à collecter et plus chère à traiter. Ce traitement, extraire la pose de la main, reconstituer les trajectoires, ajouter les canaux de capteurs qui manquent à une vidéo, voilà le vrai travail.
Aucune de ces voies n’est un raccourci. La téléopération achète la fidélité avec un temps que vous ne pouvez pas compresser. La vidéo humaine achète le volume contre une facture de traitement que vous payez plus tard. Les équipes qui progressent réellement traitent l’une et l’autre comme une chaîne d’approvisionnement à concevoir, et non comme un jeu de données à télécharger une fois pour toutes.
Voilà pourquoi la capture devient une discipline
La prise de conscience qui se répand dans le domaine, c’est que l’on ne peut ni acheter cela en gros ni le fabriquer de toutes pièces. Google DeepMind et d’autres groupes se sont appuyés sur de vastes ensembles de démonstrations du monde réel soigneusement collectés, et ils se heurtent sans cesse au même mur : vous récupérez à peu près ce que vous y mettez, et l’y mettre est manuel. Des jeux de données comme RH20T existent parce que quelqu’un a décidé de capturer, à dessein, à grande échelle et capteurs branchés, de la manipulation riche en contacts.
Rien de tout cela ne rend le travail sur le modèle sans importance. Cela le recadre. La question intéressante pour l’IA incarnée se déplace de pouvons-nous concevoir une policy qui apprend des tâches exigeant de la dextérité vers pouvons-nous produire assez des bonnes données pour l’alimenter. La première question est proche d’être résolue. La seconde est un problème de logistique déguisé en problème de recherche, et c’est celle qui décidera de la vitesse à laquelle les robots deviendront réellement bons.