Ce que la manipulation riche en contacts exige des données

Observez une main robotique se refermer sur une fraise mûre. La caméra suit l’approche sans accroc : les doigts s’écartent, le fruit se place dans le cadre, la pince descend. Puis les bouts des doigts touchent, et les pixels qui comptent disparaissent. La zone de contact est désormais cachée derrière les doigts mêmes qui établissent le contact. Que la main se stabilise sur une prise ferme ou continue de se refermer jusqu’à ce que le fruit éclate se joue dans une fenêtre de quelques millisecondes, à partir d’un signal que la caméra n’a jamais enregistré : la force.

Pour le pick-and-place en espace ouvert, le RGB est presque suffisant. Il indique où se trouvent les objets, comment ils sont orientés et où la pince doit aller. Ce qu’il ne peut pas indiquer, c’est avec quelle force. Dès qu’un robot appuie, essuie, insère, tourne ou tire contre une résistance, la variable décisive passe de la géométrie à la mécanique, et la mécanique n’émet pas de photons. Voilà l’angle mort au cœur de la manipulation riche en contacts, et ce n’est pas une résolution plus élevée ou un vision transformer plus grand qui le comblera.

L’essentiel des trois dernières années d’apprentissage robotique s’est bâti sur la vision et les positions articulaires, parce que c’est ce que contiennent les grands jeux de données. Open X-Embodiment a assemblé des démonstrations issues de plus de 20 laboratoires ; DROID a étendu la collecte de données de manipulation à un large éventail de scènes et de bâtiments. Les deux sont massivement visuels. C’est un point de départ raisonnable et un mauvais point d’arrivée. Cet article porte sur ce que le travail riche en contacts exige réellement d’un corpus d’entraînement, et sur les raisons pour lesquelles les canaux de force et tactiles sont porteurs plutôt qu’optionnels.

Là où la caméra devient aveugle

Trois modes de défaillance reviennent. Le premier est l’occlusion : à l’instant du contact, le manipulateur lui-même recouvre l’interface, de sorte que la région la plus informative de l’image est celle que vous ne pouvez pas voir. Le deuxième est la latence. La déformation visible est en retard sur la force qui l’a provoquée, si bien qu’une policy entraînée sur des pixels réagit après l’événement mécanique plutôt que pendant. Le troisième est l’ambiguïté : une pièce rigide posée dans un montage et la même pièce pressée à 30 newtons contre un trou mal aligné peuvent paraître identiques pendant de nombreuses images. La vision rapporte les conséquences de la force, lentement et indirectement. Elle ne rapporte pas la force.

Rien de tout cela ne se règle avec une meilleure caméra. La profondeur vous aide à atteindre la surface, puis se tait dès que celle-ci est touchée et occultée. Des fréquences d’image plus élevées réduisent l’écart de latence mais n’énoncent jamais l’amplitude. Vous pouvez annoter après coup une fraise écrasée ; vous ne pouvez pas reconstituer, à partir d’une quelconque image RGB, la montée de force de préhension de 20 millisecondes qui a décidé de son sort.

Ce que « riche en contacts » signifie réellement

Les tâches riches en contacts partagent une signature : la réussite dépend de la régulation de la force à travers une séquence d’établissements et de ruptures de contact, souvent à des tolérances plus serrées que ce que le système de vision peut résoudre. L’insertion de chevilles et de connecteurs. L’essuyage et le raclage d’une surface. La découpe. Le pliage de tissu. Le vissage d’un bouchon sur une bouteille. La mise en place d’un engrenage. Toyota Research Institute a affirmé explicitement que ses Large Behavior Models visent précisément ce régime dextre et à forte densité de contacts, et Physical Intelligence a montré des policies généralistes sur des tâches comme le pliage du linge, où l’objet change de forme sous la main.

Ce ne sont pas des cas marginaux. Ils constituent l’essentiel du travail économiquement intéressant : assemblage, câblage et filerie, manipulation d’aliments, conditionnement, soins à la personne. Le fil conducteur, c’est que la géométrie vous mène jusqu’au premier contact, et que tout ce qui suit relève de la mécanique.

Les signaux que le RGB ne pourra jamais fournir

Le propos n’est pas que la vision soit faible. C’est que chaque canal a son domaine, et que la force et le toucher couvrent le domaine où réside la valeur riche en contacts. Le tableau ci-dessous est délibérément direct sur le point où chaque modalité cesse d’être utile.

Une policy qui n’a jamais fait que voir le contact ne peut pas sentir quand elle a trop appuyé. Le temps que la fraise soit visiblement écrasée, l’annotation a déjà trois images de retard.

Pourquoi les grands jeux de données sous-représentent le toucher

La rareté est structurelle. Ego-Exo4D et, plus tôt, Ego4D ont capturé des milliers d’heures d’activité humaine, un remarquable corpus de vision égocentrique, mais depuis des caméras montées sur la tête et sans force calibrée, ou presque, au niveau des mains. Open X-Embodiment et DROID associent la vision à la proprioception, qui rapporte la configuration du bras, non le contact au bout des doigts. RH20T est l’une des rares grandes collections qui associent délibérément la vision multi-vues à des relevés de force-couple et tactiles, ce qui explique précisément pourquoi elle se distingue. Résultat : un domaine doté d’un corpus visuel colossal et d’un relevé du toucher mince et fragmenté.

Cela compte, parce qu’un modèle ne peut apprendre que des canaux effectivement présents dans les données. Un corpus à dominante visuelle produit des policies façonnées par la vision. Aucune montée en échelle ne transforme un jeu de données qui n’a jamais mesuré la force en un jeu de données qui enseigne la force.

Ce qu’exigent de bonnes données de contact

Bien enregistrer le toucher est plus difficile que de visser un capteur. Quatre exigences séparent un corpus de contact exploitable d’un corpus bruité.

• Cadence. Les événements de force-couple et tactiles se déploient de l’ordre de quelques centaines de hertz à un kilohertz, tandis que la vidéo tourne à 30-60 fps. La capture doit être véritablement multi-cadence, et non la force sous-échantillonnée pour s’aligner sur la caméra.
• Calibration. Un relevé tactile en comptes bruts du capteur est quasiment inutile. Il doit correspondre à des unités physiques, pression et cisaillement en newtons, sinon les données d’un laboratoire ne peuvent pas se transférer au robot d’un autre.
• Synchronisation. La force à 1 kHz et la vidéo à 30 fps n’enseignent quelque chose que si leurs horodatages s’alignent à une image près ou mieux. Un événement de glissement et les pixels qui l’entourent doivent renvoyer au même instant.
• Couverture des régimes. L’information utile réside dans les transitions : avant le contact, l’établissement du contact, le maintien stable, le glissement naissant, le relâchement. Des données qui n’échantillonnent que le régime stable omettent les moments dont la policy a le plus besoin.

Les architectures sont prêtes pour le toucher. Gemini Robotics, NVIDIA GR00T et le π0 de Physical Intelligence sont toutes des policies multimodales capables, en principe, de se conditionner sur des flux de force et tactiles. Ce qui leur manque n’est pas la capacité, mais l’expérience : des démonstrations où le savoir durement acquis du dosage de la pression est inscrit dans les données au lieu d’être laissé sur le sol de la salle de montage avec les pixels occultés. Enregistrez la force, et l’autonomie riche en contacts cesse d’être une démonstration pour devenir une distribution sur laquelle vous pouvez entraîner un modèle.