Qualité contre quantité des données dans l’apprentissage robotique

Une politique de manipulation plie une serviette bleue en laboratoire avec un taux de réussite digne d’un produit fini. Remplacez la serviette bleue par une rouge, poussez la table dans le soleil de l’après-midi, et la même politique cale, cherchant un pli qui n’est plus là où elle l’attend. Le premier réflexe de l’équipe est le plus évident : collecter davantage de démonstrations de pliage de serviette. Cela aide rarement autant que les heures accumulées le laissent croire.

C’est l’énigme centrale de l’apprentissage robotique aujourd’hui. Les données de robots réels coûtent cher, les données téléopérées tout particulièrement, et le domaine a passé trois ans à supposer que la solution consistait simplement à en produire davantage. Puis le Toyota Research Institute, en construisant ses Large Behavior Models, s’est heurté à un résultat différent, encore et encore. Les démonstrations qui faisaient bouger les lignes n’étaient pas des répétitions supplémentaires d’une tâche que le modèle maîtrisait déjà. C’étaient des démonstrations couvrant des conditions que le modèle n’avait jamais vues. La couverture, pas les heures brutes.

La distinction paraît théorique jusqu’à ce qu’on en chiffre le coût. Mille démonstrations quasi identiques et mille démonstrations couvrant de nouveaux objets, de nouveaux éclairages, de nouveaux points de vue et des comportements de récupération coûtent à peu près autant à collecter, et pourtant elles achètent des modèles très différents. Cet article décortique pourquoi, ce que disent réellement les conclusions sur la diversité, et comment lire un jeu de données sous l’angle de la couverture plutôt que sous celui de son nombre d’heures affiché à la une.

L’écart du laboratoire à la cuisine est un problème de couverture

La plupart des politiques de manipulation sont aujourd’hui entraînées par imitation : un humain téléopère, le robot apprend à copier. L’apprentissage par imitation a un mode de défaillance bien connu. La politique n’est fiable que sur la distribution des états qu’elle a vus pendant l’entraînement, et dès que le robot dérive vers un état qu’aucune démonstration ne couvrait, ses erreurs s’accumulent. Une petite prise ratée fait basculer la scène en terrain inconnu, l’action suivante est légèrement pire, et en quelques pas la trajectoire a entièrement quitté la distribution d’entraînement.

Davantage de démonstrations d’une tâche que le modèle résout déjà n’y changent pas grand-chose. Elles creusent un pic que la politique a déjà trouvé, affinant le comportement sur des états qu’elle sait déjà gérer, sans élargir la région des états dont elle peut se remettre. Ce qui aide vraiment, c’est le support : des démonstrations qui touchent les parties de l’espace d’états où la politique n’a actuellement rien à imiter. Voilà pourquoi une serviette rouge sous un nouvel éclairage peut briser une politique qui plie parfaitement les serviettes bleues. La défaillance n’est pas une défaillance de pliage. C’est un déficit de couverture.

Ce que disent réellement les conclusions sur la diversité

Les travaux de TRI sur les Large Behavior Models ont précisé un point que la collaboration Open X-Embodiment avait déjà laissé entrevoir : mutualiser des données diverses à travers de nombreuses tâches, et même de nombreux corps de robots, tend à améliorer les performances sur une tâche donnée plutôt qu’à les diluer. Les modèles RT-X entraînés sur les données mutualisées d’Open X-Embodiment ont montré un transfert positif : une politique entraînée sur de nombreuses incarnations a surpassé la même politique entraînée uniquement sur les données propres au robot cible. Des tâches sans rapport enseignent tout de même une structure commune : comment les objets se déplacent, comment le contact se résout, à quoi ressemble une occlusion de pince.

Le corollaire est une courbe de rendements décroissants que la plupart des équipes sous-estiment. Les premières démonstrations d’une tâche valent beaucoup. Une fois que vous avez quelques centaines de réussites propres sur le même dispositif, chacune de plus n’apprend presque rien au modèle qu’il ne sache déjà. Ce budget aurait acheté bien plus de capacité s’il avait été dépensé sur un nouvel objet, une nouvelle pièce ou un nouveau mode de défaillance.

La démonstration marginale vaut exactement ce qu’elle apprend au modèle que les démonstrations précédentes ne lui avaient pas appris. Passé un certain point, une copie de plus d’une tâche résolue n’enseigne presque rien.

Lire les jeux de données : heures contre couverture

Dès que vous commencez à compter la couverture plutôt que les heures, les jeux de données publics se classent différemment. Un vaste journal mono-tâche peut porter moins d’information exploitable qu’une collection plus petite délibérément répartie entre scènes, objets et points de vue. Le tableau ci-dessous recense les chiffres publiés pour plusieurs jeux de données largement utilisés, choisis pour montrer à quel point les choix de conception diffèrent.

Notez ce que sont les deux dernières lignes : de la vidéo humaine, pas des journaux de robots. Des jeux de données comme Ego4D et Ego-Exo4D ne contiennent aucune action de robot, et pourtant ils couvrent une variété d’objets, de mains et d’environnements qu’aucun programme de téléopération ne peut égaler au même coût. Leur rôle dans un mélange d’entraînement est exactement l’argument de la couverture sous une autre forme : une ampleur peu coûteuse pour compléter des démonstrations de robots coûteuses et précises.

Où se cachent les bits d’information utiles

« Diversité » est un mot trop grossier pour ce qui compte vraiment. Quelques axes précis portent l’essentiel de la valeur :

• Objets et scènes : de nouvelles instances, de l’encombrement, des distracteurs et des arrière-plans que la politique n’a jamais eu à ignorer.
• Point de vue et incarnation : des placements de caméra et des corps de robots différents, qui forcent le modèle à apprendre ce qui est invariant plutôt qu’à mémoriser une seule géométrie.
• Éclairage et heure de la journée : la diversité la moins coûteuse à collecter, et l’une des causes les plus fréquentes d’une régression du laboratoire au terrain.
• Défaillance et récupération : des démonstrations qui partent d’une erreur et reviennent à un bon état. Elles enseignent à la politique la seule chose que les réussites propres ne peuvent pas lui apprendre : comment revenir sur la distribution après en être sorti.

Les données de récupération sont les plus sous-évaluées des quatre. Physical Intelligence et d’autres, qui construisent des politiques généralistes, ont soutenu que la robustesse vient moins de démonstrations irréprochables que de données montrant au robot comment se tromper et se corriger. Un jeu de données composé uniquement d’exécutions parfaites est, en un sens, un jeu de données troué exactement dans la région où les robots déployés passent leurs secondes les plus difficiles.

La diversité a elle aussi une fonction de coût

Rien de tout cela ne signifie l’entropie pour elle-même. Vous ne pouvez pas verser des données arbitraires dans le mélange en espérant des gains. Des trajectoires mal annotées, une téléopération négligée et des démonstrations issues d’une incarnation trop éloignée de la cible peuvent ajouter du bruit plus vite que du signal. Diversité et qualité ne sont pas des contraires, ce sont des alliées, et ce à quoi toutes deux s’opposent, c’est aux heures brutes de données quasi dupliquées. Le véritable objectif est la couverture des conditions que le robot affrontera réellement, échantillonnée proprement, annotée honnêtement et pondérée vers la longue traîne plutôt que vers le centre facile.

Cela recadre le problème de la collecte. La question n’est pas « combien d’heures avons-nous enregistrées » mais « quelles tranches de la distribution de déploiement ne couvrons-nous toujours pas, et quel est le moyen honnête le moins coûteux de les combler ». Parfois la réponse est davantage de téléopération de robot. Souvent, c’est la démonstration humaine, la simulation, ou simplement un plan d’échantillonnage plus réfléchi pour des données que vous alliez collecter de toute façon.

Les équipes qui livrent les robots les plus capables ne sont pas celles qui disposent des journaux bruts les plus volumineux. Ce sont celles qui peuvent vous dire, pour une compétence donnée, quelle tranche de leurs données la lui a enseignée et quelle tranche manque encore. Comptez la couverture, pas les heures.