La proprioception : le sens que les robots ne peuvent pas voir
La proprioception, le sens qu’a un robot de ses propres articulations et efforts, est ce sur quoi s’appuie la manipulation lorsque la vision est bloquée, et la raison pour laquelle la vidéo passive ne peut pas la fournir.
Fermez les yeux et touchez votre nez. Vous n’avez pas eu besoin de voir votre main pour la trouver. Ce sens, celui qui vous indique où se trouvent vos membres sans les regarder, c’est la proprioception, et il fonctionne en permanence sous chacun de vos gestes.
Les robots possèdent le même sens, et c’est sans doute le plus fiable dont ils disposent. Une caméra peut être aveuglée par un reflet, masquée par le propre bras du robot, ou trompée par une surface brillante. Les codeurs d’articulation ne mentent presque jamais. Pourtant, dans la course à l’entraînement des policies humanoïdes sur des vidéos à l’échelle d’Internet, la proprioception est le canal le plus souvent laissé de côté, et cet oubli plafonne discrètement le niveau qu’une policy de manipulation peut atteindre.
Cet article défend une seule thèse. La proprioception n’est pas un second rôle dans l’apprentissage robotique. Pour la manipulation riche en contacts, elle est porteuse, et parce que la vidéo passive ne la contient pas, bien capturer la proprioception est l’une des lignes de partage les plus nettes entre des données qui entraînent une vraie policy et des données qui se contentent d’avoir l’air utiles.
Ce que la proprioception encode réellement
Chez un robot, la proprioception est l’ensemble des signaux internes qui décrivent la configuration et l’effort du corps lui-même. Ce n’est pas un seul chiffre. C’est un faisceau de signaux.
- Positions articulaires : l’angle de chaque articulation actionnée, généralement issu des codeurs, échantillonné rapidement.
- Vitesses articulaires : la rapidité avec laquelle chaque angle varie, dont le contrôleur a besoin pour rester stable.
- Couples ou courants articulaires : l’effort qu’applique chaque moteur, un indicateur bon marché de la force de contact.
- Pose de l’effecteur terminal : la position de la main dans l’espace, déduite des angles articulaires par cinématique directe.
Ensemble, ces signaux indiquent à la policy ce que le corps est en train de faire à l’instant présent, indépendamment de la scène. Un système de vision dit que la tasse est là-bas. La proprioception dit que ma main est ici, qu’elle se déplace à telle vitesse, qu’elle pousse avec telle force. Une bonne policy de manipulation a besoin des deux, fusionnés à chaque pas de commande.
Pourquoi la manipulation s’effondre sans elle
Imaginez un axe qui s’insère dans un trou avec une fraction de millimètre de jeu. À l’instant où l’axe touche le bord, la caméra ne voit plus le contact. Les doigts l’occultent. La physique intéressante se produit précisément là où la vision devient aveugle.
Ce qui fonctionne encore, c’est le rapport que le corps fait de lui-même. Une légère hausse du couple articulaire signifie que l’axe a accroché une arête. Un arrêt de la vitesse articulaire signifie que le mouvement s’est interrompu avant le but. Les mains humaines résolvent ces problèmes surtout au toucher, pas à la vue, et les robots doivent faire de même.
Il existe un second mode de défaillance : la dérive. Une policy qui ne lit que des pixels n’a aucune perception directe de son propre mouvement, si bien que de petites erreurs s’accumulent sans rien pour les corriger. La proprioception referme cette boucle. Elle fournit à la policy un signal à haute fréquence et faible latence sur son propre état, que la vision, à 30 Hz et souvent retardée, ne peut égaler.
La vision renseigne un robot sur le monde. La proprioception le renseigne sur lui-même. Retirez la seconde et la manipulation devient une devinette.
La fréquence d’échantillonnage fait partie du signal
La proprioception vaut peu si elle arrive lentement. Les événements de contact se produisent en quelques millisecondes. Un glissement, une collision, un emboîtement net, chacun apparaît d’abord comme un pic de couple ou une discontinuité de vitesse, et si vous échantillonnez à 30 Hz, vous le manquez.
La fréquence de capture importe donc autant que le contenu capturé. Les états articulaires sont généralement enregistrés bien plus vite que les images caméra, souvent à 240 Hz ou davantage, puis alignés sur le flux vidéo plus lent. Ce décalage est délibéré. Vous voulez une proprioception assez dense pour saisir la physique et une vision assez dense pour saisir la scène, chacune à sa fréquence native. Un jeu de données qui enregistre tout à une seule fréquence lente jette la partie du signal qui rendait la proprioception précieuse. Les séquences passives à la première personne, du type de celles réunies dans Ego4D, sont riches en intention mais ne portent aucune proprioception.
| Source de données | États articulaires | Couple ou force | Fréquence typique | Ce qu’elle enseigne |
|---|---|---|---|---|
| Vidéo humaine passive (Ego4D) | Non | Non | ~30 fps | Sémantique, intention, contexte de scène |
| Robot téléopéré (DROID) | Oui | Parfois | ~10-30 Hz enregistrés | État complet plus action, une seule incarnation |
| Capture multimodale (RH20T) | Oui | Oui | Jusqu’à des centaines de Hz | Compétences riches en contacts, avec force |
| Corpus agrégé (Open X-Embodiment) | Mixte | Mixte | Variable selon la source | Étendue inter-incarnations, état inégal |
Comment nous capturons la proprioception chez l’humain
La démonstration humaine est la source peu coûteuse et facile à faire passer à l’échelle, mais les humains ne sont pas livrés avec des codeurs d’articulation. Alors comment extraire la proprioception d’une personne ?
Deux voies. La première est la téléopération : un humain pilote un vrai robot, et les codeurs du robot enregistrent une proprioception de référence pendant que la personne fournit l’intention. C’est ainsi que des jeux de données comme DROID et RH20T obtiennent des données propres d’articulation et de force. Le hic, c’est le débit et le coût, puisque chaque heure de données nécessite un robot et un opérateur.
La seconde voie reconstruit directement la proprioception humaine, à partir de dispositifs portables et de la vision. Des capteurs inertiels, des gants de suivi de la main et des dispositifs multi-caméras estiment les angles articulaires du corps et des mains, qui sont ensuite reciblés sur la cinématique d’un robot. C’est plus difficile à réussir, car un angle articulaire reconstruit est une estimation, pas une lecture de codeur. Mais cette voie passe à l’échelle comme la téléopération ne le fera jamais, et c’est là que la capture à la première personne trouve sa place.
Les deux voies alimentent le même besoin en aval : un vecteur d’état, aligné temporellement avec la vision et l’action, qu’un modèle tel que NVIDIA Isaac GR00T peut consommer en même temps que les images caméra et une instruction en langage naturel. Des corpus comme Open X-Embodiment montrent à la fois la valeur et le problème : une étendue couvrant de nombreux robots, mais des champs proprioceptifs incohérents, à des échelles différentes et parfois absents.
Le signal auquel un robot se fie
La proprioception n’a rien de glamour. Elle ne produit aucune visualisation frappante ni aucune démo virale. Mais c’est le signal sur lequel un robot s’appuie quand la lumière s’éteint et que les doigts bloquent la vue, et c’est précisément l’instant où la manipulation réussit ou échoue.
Les équipes qui construisent des modèles de fondation humanoïdes le savent déjà. C’est pourquoi leurs vecteurs d’état portent les angles, les vitesses et les couples articulaires, pas seulement des pixels. La question ouverte, pour quiconque capture des données d’entraînement, est de savoir si la chaîne préserve ce signal à la fréquence qu’exige la physique, ou s’en débarrasse discrètement en espérant que la vision compensera. Elle ne compensera pas.