La perception tactile : la modalité manquante des données robotiques

Un bras robotisé abaisse son préhenseur vers un gobelet en carton à moitié rempli de café. À l’écran, la prise paraît nette : les doigts se referment, le gobelet se soulève, le poignet pivote vers le plateau. Puis le gobelet glisse de quelques millimètres, le contrôleur serre plus fort pour compenser, et la paroi du gobelet se déforme vers l’intérieur. Tout cet échec a été enregistré en haute résolution et à haute fréquence d’images. Presque rien n’en a été vu, car les variables en cause, la force de cisaillement au bout du doigt et les premiers micromètres de glissement, ne se sont jamais inscrites sur un pixel.

La quasi-totalité des données qui entraînent aujourd’hui les politiques de manipulation provient de caméras. Open X-Embodiment a assemblé des dizaines de jeux de données robotiques, et le signal qu’ils partagent tous, c’est la RGB plus la proprioception. DROID a mis la téléopération à l’échelle avec de la RGB-D multivue. Les corpus humains à la première personne, comme Ego-Exo4D, enregistrent avec finesse ce que font les mains du point de vue de celui qui porte le dispositif. Voilà le substrat des modèles vision-language-action (VLA) que tout le monde entraîne en ce moment. Ils partagent aussi un angle mort, et c’est celui qui compte le plus pour la manipulation : le contact.

Le toucher n’est pas un canal bonus à greffer plus tard. C’est la modalité qui porte la physique d’une prise. La RGB mesure la lumière qui rebondit sur les surfaces ; à l’instant où deux surfaces se rencontrent, les variables informatives cessent d’être des photons et deviennent des forces. Pour le dire crûment : dans les tâches à contact intensif, le signal utile quitte le champ de la caméra précisément au moment où la tâche devient difficile.

Ce qu’une caméra cesse de voir au moment du contact

La vision est excellente jusqu’à la milliseconde qui précède le contact. Elle localise l’objet, planifie l’approche et détermine ce qui est saisi. Puis trois choses surviennent en même temps, et la caméra n’en saisit correctement aucune.

• L’occlusion. Les doigts se referment précisément sur la zone qui vous intéresse. L’interface de contact est désormais cachée derrière la main qui l’a formée.
• La force n’est pas une grandeur visuelle. Une prise délicate et une prise qui écrase peuvent sembler identiques vues de l’extérieur. On ne peut pas distinguer de façon fiable 5 N de 15 N à partir des pixels, et la rigidité, la propriété qui distingue un gobelet d’une canette, reste invisible tant que rien ne se déforme.
• Le glissement est rapide et minuscule. Le glissement naissant, ce micro-glissement partiel qui précède un glissement complet, est un événement de moins d’un millimètre et de moins d’un dixième de seconde. Le temps qu’il devienne visible dans la vidéo, l’objet bouge déjà.

La physique que les données de force encodent

Là où la vision se tait, la perception du contact se fait entendre. Un canal tactile ou de force rapporte les grandeurs qui déterminent réellement si une prise tient :

• La force normale et la force de cisaillement, plus le couple autour du contact, qui décident ensemble si l’objet reste en place ou pivote hors de la prise.
• Le glissement naissant, qui permet à un contrôleur d’augmenter la force de préhension juste ce qu’il faut, comme une personne s’ajuste en environ un dixième de seconde lorsqu’un gobelet commence à lui échapper.
• La compliance et la texture en deçà de la résolution optique : la dureté d’une surface, ce qu’elle cède, le fait qu’elle soit glissante ou adhérente.

Le matériel pour capturer cela est réel et varié. Les capteurs tactiles à base de vision, comme GelSight et DIGIT, transforment un gel souple et une minuscule caméra en une carte haute résolution de la surface de contact. Les capteurs force-couple au poignet lisent le torseur à six axes appliqué à la main entière. Les préhenseurs souples « à bulles » du Toyota Research Institute ont fait de la perception tactile déformable un élément porteur d’une pile de manipulation, et non plus une curiosité de laboratoire. Les boucles force-couple du poignet tournent près du kilohertz, un ordre de grandeur plus vite qu’un flux de caméra typique, tandis que les capteurs tactiles à base de caméra échantillonnent à la fréquence vidéo, puisque leur élément sensible est une caméra.

La vision indique à un robot où tendre le bras. Seul le contact lui dit si ce geste a abouti.

Deux modalités, côte à côte

Présentés simplement, les deux canaux ne sont pas des concurrents. Ce sont des compléments qui culminent à des instants différents d’un même mouvement : la vision avant le contact, la force pendant celui-ci.

Pourquoi les données de contact existent à peine

Si la force est à ce point centrale, pourquoi n’en trouve-t-on presque pas dans les grands jeux d’entraînement ? La réponse est banale et structurelle : les données de contact sont difficiles à collecter, et plus difficiles encore à standardiser.

Les caméras sont bon marché, interchangeables, et parlent un format commun. Les capteurs tactiles ne cochent aucune de ces cases. Les facteurs de forme sont nombreux et incompatibles, les capteurs dérivent et s’usent, l’étalonnage se fait unité par unité, et il n’existe aucun schéma partagé définissant ce qu’est seulement une « lecture tactile » d’un laboratoire à l’autre. Les rigs de téléopération, la bête de somme de la collecte moderne, diffusent rarement une force étalonnée en parallèle de la vidéo. Et la plus vaste source de démonstrations humaines qui soit, la vidéo à la première personne, ne dispose d’aucune vérité terrain de force : Ego-Exo4D sait où se trouve une main, pas ce qu’elle ressent.

Quelques jeux de données s’inscrivent à contre-courant. RH20T associe délibérément une vision multivue à la force-couple et à l’audio, afin qu’une politique puisse apprendre ce à quoi ressemble un événement de contact au son et au toucher, et pas seulement à l’œil. Côté modèles, les large behavior models du Toyota Research Institute et les travaux sur la dextérité de Physical Intelligence traitent tous deux le comportement de contact riche et en boucle fermée comme l’objectif, et non comme un ajout après coup. Ces cas restent l’exception. Le corpus par défaut demeure massivement visuel, ce qui veut dire que de nombreuses politiques apprennent en douce à deviner le contact à partir d’a priori visuels, et cette supposition s’effondre face à un nouvel objet, un nouveau matériau ou une mauvaise prise.

Ce qui change quand la force entre dans le jeu d’entraînement

Le contact est aussi l’endroit où la simulation souffre le plus. Les contacts rigides, le frottement et la déformation sont la partie la moins fiable de tout moteur physique ; une politique entraînée uniquement en simulation hérite donc d’un modèle de contact qui ne correspond pas au monde réel. Des données de force réelles et étalonnées sont l’ancre qui ramène ces politiques vers la réalité, et c’est un signal qu’un socle VLA tel qu’Isaac GR00T de NVIDIA a la capacité d’absorber, à condition que les données existent pour l’alimenter.

Le bénéfice apparaît précisément sur les tâches qui mettent en difficulté les systèmes purement visuels : insérer une fiche, emboîter un connecteur, manipuler un sac déformable, utiliser un outil dont le retour se sent plutôt qu’il ne se voit. Ce ne sont pas des cas marginaux. C’est l’essentiel du travail qu’on demanderait à un humanoïde dans une maison ou un entrepôt.

Le problème de la caméra en robotique a été en grande partie résolu par l’échelle. Le problème du toucher ne le sera pas, car les données pour le résoudre ne traînent pas sur internet en attendant d’être moissonnées. Elles doivent être capturées à dessein, avec les forces mesurées et alignées sur tout le reste. Les équipes qui traitent dès maintenant le contact comme une modalité à part entière, plutôt que comme un canal à ajouter une fois le pipeline visuel au point, sont celles dont les robots tiendront encore le gobelet dans un an.