Espaces d’observation et d’action : les décisions silencieuses
L’espace d’action et l’espace d’observation que vous choisissez déterminent ce qu’un jeu de données pourra un jour enseigner. Un guide de terrain sur les choix silencieux qui survivent au robot.
Deux laboratoires enregistrent la même corvée : essuyer une table. L’un consigne la pose de l’effecteur final à 10 Hz. L’autre consigne les angles articulaires bruts à 100 Hz, plus la force au poignet. Même compétence, même classe de robot, et pourtant leurs jeux de données peinent à entraîner les politiques l’un de l’autre. L’écart ne tient pas à la tâche. Il tient au choix de l’espace d’observation et de l’espace d’action, fait en un après-midi puis payé sur toute la vie des données.
Ces deux choix sont les décisions les plus silencieuses d’un projet d’apprentissage robotique. Personne ne rédige un billet de blog le jour où il choisit un espace d’action. Et pourtant, ce choix détermine ce qui pourra se généraliser, ce qui pourra fusionner avec d’autres jeux de données, et ce qu’il faudra jeter par la suite. Il mérite bien plus de délibération qu’il n’en reçoit d’ordinaire.
Ce que « espace » signifie ici
L’espace d’observation est l’ensemble de tout ce qu’une politique est autorisée à voir : quelles caméras, à quelle résolution, plus les canaux proprioceptifs et tactiles que vous incluez. L’espace d’action est l’ensemble de tout ce qu’une politique est autorisée à commander : cibles articulaires, mouvements de l’effecteur final, signaux de préhenseur, et la manière dont chacun est encodé. Les deux sont des décisions de conception, non des faits propres au robot. Un même bras peut être piloté à travers au moins trois espaces d’action différents, et chacun produit un jeu de données subtilement différent à partir d’un mouvement identique. Un journal de positions articulaires, un journal de poses de l’effecteur final et un journal tokenisé du même essuyage sont trois jeux de données différents qu’une équipe en aval ne peut pas librement interconvertir après coup.
La décision de l’espace d’action
Commençons par les actions, car l’espace d’action est celui que l’on sous-estime le plus. Une poignée d’options domine les jeux de données réels.
- Position articulaire. Commander à chaque articulation un angle cible. Précis, spécifique au matériel, et presque impossible à transférer vers un robot dont la cinématique diffère.
- Couple ou vitesse articulaire. Encore plus bas niveau, excellent pour les mouvements dynamiques et riches en contacts, et le moins indulgent à capturer proprement.
- Pose de l’effecteur final. Commander où la main doit se trouver, en absolu dans un repère donné. Plus portable d’un corps à l’autre, au prix de masquer la redondance du bras.
- Delta de l’effecteur final. Commander à chaque pas un petit changement de la pose de la main. Le favori actuel pour les données inter-incarnations, car un delta signifie à peu près la même chose sur de nombreux bras.
- Actions tokenisées. Discrétiser n’importe laquelle des options ci-dessus en tokens qu’un modèle de type langagier peut émettre, ce qui est la façon dont beaucoup de modèles Vision-Language-Action greffent le contrôle sur un transformer.
La raison pour laquelle cela compte tant, c’est la mise en commun. Le projet Open X-Embodiment a dû réconcilier des dizaines de jeux de données qui avaient chacun choisi leur propre espace d’action, et l’essentiel du travail difficile a consisté à les traduire dans une représentation partagée sans en corrompre le sens. DROID a fait le pari délibéré d’un format d’action et d’observation cohérent sur une vaste flotte de téléopération, précisément pour que ses données se composent.
| Espace d’action | Idéal pour | Faiblesse | Se transfère d’un corps à l’autre ? |
|---|---|---|---|
| Position articulaire | Mouvement précis et reproductible sur un seul robot | Verrouillé à la cinématique de ce robot | Mal |
| Couple ou vitesse articulaire | Contrôle dynamique, riche en contacts | Difficile à capturer et à imiter proprement | Mal |
| Pose de l’effecteur final | Cibles de manipulation portables | Masque la redondance du bras et l’auto-collision | Moyennement |
| Delta de l’effecteur final | Mise en commun de données sur de nombreux bras | La dérive s’accumule faute d’un bon repère | Bien |
| Actions tokenisées | Modèles Vision-Language-Action | Erreur de discrétisation aux échelles fines | Dépend du tokeniseur |
La décision de l’espace d’observation
L’espace d’observation recèle le même type de levier caché. Trois sous-choix font l’essentiel des dégâts, ou l’essentiel du bien.
Quelles modalités
Le RGB seul est peu coûteux et souvent suffisant pour les tâches grossières. Ajoutez la profondeur et vous aidez la géométrie. Ajoutez la proprioception et la force, et vous donnez enfin à une politique l’information qu’un humain utilise sans y penser lors d’une insertion. Des jeux de données comme RH20T ont été construits spécifiquement pour porter ensemble la force et la vision multivue, car un essuyage ou un branchement est à peine apprenable à partir d’un seul flux RGB.
Quel repère
Une image issue d’une caméra de poignet et une image issue d’un trépied enseignent des choses différentes. Une pose exprimée dans le repère de base du robot et la même pose dans un repère caméra ne sont pas interchangeables dans les données. Mélanger des repères sans consigner les transformations est l’une des façons les plus courantes par lesquelles un jeu de données devient silencieusement inutilisable.
Combien d’historique
Une image unique est markovienne et facile à mélanger. Une courte fenêtre d’images permet la mémoire et l’estimation de la vitesse, mais vous oblige à conserver les séquences intactes. L’espace d’observation est l’endroit où vous vous engagez là-dessus, que vous en ayez conscience ou non. Trompez-vous, et vous ne le découvrirez que tard, quand un modèle qui avait besoin de la vitesse ne pourra pas la retrouver à partir d’images consignées trop espacées.
Vous ne choisissez pas un espace d’action une seule fois. Vous le choisissez pour chaque modèle qui s’entraînera un jour sur les données, si bien que la seule règle sûre est de choisir la représentation qui jette le moins.
Pourquoi fusionner des jeux de données est si difficile
Tout cela converge vers le problème le plus difficile de l’approvisionnement en données de ce domaine : la mise en commun. Quand deux jeux de données divergent sur l’espace d’action, les modalités d’observation, les repères ou la fréquence de contrôle, les fusionner n’est pas une corvée de format de fichier. C’est une traduction sémantique qui peut, en silence, déformer ce que le robot faisait réellement. La compatibilité d’un socle de politiques comme le GR00T de NVIDIA avec de nombreux corps de robots repose sur le choix de représentations qui survivent à cette traduction. Là où la représentation est avec perte, la fusion injecte discrètement un bruit qu’aucune session d’entraînement en aval ne peut retirer.
C’est pourquoi la fréquence de contrôle appartient à la même discussion. Un jeu de données échantillonné à 10 Hz et un autre échantillonné à 100 Hz ne diffèrent pas seulement en taille ; le plus lent a jeté les corrections rapides dont vit une compétence riche en contacts. Le rééchantillonnage peut aligner les horodatages, mais il ne peut pas inventer les images qui n’ont jamais été prises.
La tâche est facile, l’espace est pour toujours
L’espace d’observation et l’espace d’action ressemblent à de la tuyauterie, et c’est précisément pour cela qu’ils sont dangereux. Ils sont choisis tôt, par celui qui est le plus proche du matériel, et ils verrouillent ce que chaque modèle ultérieur pourra apprendre. Choisissez un espace d’action étroit et vous obtenez un jeu de données propre qui vieillit en impasse. Choisissez une représentation riche, bien repérée et alignée dans le temps, et vous obtenez des données qui continuent de rapporter à mesure que les architectures de politiques changent en dessous. La tâche est la partie facile. L’espace dans lequel vous l’enregistrez est la décision qui dure.