Données robotiques multimodales : force, audio, profondeur au-delà du RGB
La force, l’audio de contact et la profondeur portent ce dont dépend la manipulation à contact riche, les signaux que le RGB n’enregistre jamais. Quoi capturer, et pourquoi la synchronisation temporelle est difficile.
Branchez un connecteur USB-A dans un port que vous ne voyez pas. Vous manquez la cible, sentez le rebord de la prise, faites pivoter le connecteur de quelques degrés, sentez la languette s’enclencher, puis poussez. En moins de deux secondes, et presque aucune des informations utiles de cette récupération n’est passée par vos yeux. Elles sont arrivées par vos doigts sous forme de force, par le petit clic sous forme de son, et par une géométrie que votre main connaissait déjà.
La plupart des jeux de données d’apprentissage robotique auraient enregistré ce moment sous forme d’un clip vidéo et d’un flux d’angles articulaires. Cela suffit à entraîner une politique à tendre vers le port. Cela ne suffit pas à lui apprendre quoi faire lorsque le connecteur coince, car ce blocage n’apparaît jamais dans les pixels. La manipulation à contact riche, insertion, essuyage, épluchage, découpe, boutonnage, pliage, est dominée par des signaux qu’une caméra ne capte pas.
C’est l’argument en faveur d’une capture qui va au-delà du RGB. Ce que la force, l’audio et la profondeur apportent chacun, où chacun échoue, et pourquoi la véritable difficulté d’ingénierie ne réside pas dans les capteurs mais dans la synchronisation de leurs horloges.
Ce qu’une caméra ne peut pas voir
Une image RGB est une projection. Elle indique où les surfaces se situent dans l’image, à la cadence de l’obturateur, généralement 30 à 60 Hz. Elle ne dit rien de la force avec laquelle deux surfaces se pressent l’une contre l’autre, de si une prise commence à glisser, ni de la distance en mètres de quoi que ce soit. Pour un cycle de prise-dépose en espace libre, cette lacune se fait rarement sentir : une politique peut s’en sortir avec le seul flux visuel. La collection Open X-Embodiment, qui rassemble plus d’un million de trajectoires provenant de plus de 20 laboratoires, est très majoritairement composée de RGB et de proprioception, et elle permet malgré tout d’entraîner des comportements d’atteinte et de préhension performants.
Le contact change la donne. Dès que deux corps rigides se touchent, le signal informatif migre de la vision vers la mécanique. Une cheville qui entre dans un trou avec 0,1 mm de jeu produit des forces de blocage qu’une caméra à 30 Hz ne peut résoudre à temps et, à l’intérieur d’un montage serré, qu’elle ne peut souvent même pas voir. La politique qui résout cette insertion réagit à la force, pas aux pixels. Entraînez-la uniquement sur de la vidéo, et vous lui aurez appris l’approche tout en lui cachant la partie qui échoue réellement.
Force et tactile : le signal au cœur de la tâche
Deux signaux distincts se cachent derrière le mot toucher. La force-couple au poignet est une mesure à 6 axes, trois forces et trois couples mesurés au poignet du robot, qui indique la charge nette exercée sur ce que tient la main. La détection tactile est répartie sur les bouts des doigts et rapporte le champ de pression au niveau même de la zone de contact, souvent via un capteur à base de vision tel qu’un élastomère de type GelSight qui photographie sa propre déformation. Le premier vous dit que vous poussez ; le second vous dit où, et si vous êtes sur le point de glisser.
Les deux doivent être rapides. Les événements de contact sont brefs et raides : un loquet qui s’enclenche, une vis qui mord le filetage, un objet saisi qui commence à glisser, chacun peut se dérouler en quelques millisecondes. Échantillonnez la force à 30 Hz et vous repliez le transitoire même qui vous intéresse, transformant un événement net en un flou. Les montages en usage lisent la force-couple au poignet à plusieurs centaines de hertz jusqu’au kilohertz, un ordre de grandeur au-dessus de la cadence vidéo. RH20T, un jeu de données de manipulation conçu spécifiquement autour des compétences à contact riche, enregistre la force-couple au poignet et l’audio en plus du RGB-D, précisément pour cette raison.
Une caméra peut observer une cheville s’approcher d’un trou. Elle ne peut pas sentir la cheville se coincer, et la politique qui résout l’insertion réagit à ce que la caméra a manqué.
Audio : la modalité que la plupart des équipes négligent
L’audio est la modalité la moins coûteuse à ajouter, et celle que l’on omet le plus souvent du montage. Le contact produit un son, et ce son est souvent un meilleur détecteur de contact que la force. Le clic d’une boucle, le raclement d’une éponge sur des restes de nourriture séchée, la mise en place d’une vis, le bruit sourd qui signale qu’un contenant est vide : chacun est un événement acoustique net avec un début non ambigu. Un microphone de contact échantillonnant à 44,1 ou 48 kHz capture un transitoire qu’une caméra à 30 Hz manque entièrement.
Les laboratoires de robotique universitaires ont montré à plusieurs reprises que l’audio porte un signal réellement utile à la tâche, de la distinction entre matériaux jusqu’à la localisation de l’instant du contact, de manière plus fiable que la vision. La difficulté pratique est que la partie utile de l’audio robotique est surtout transmise par la structure elle-même, si bien qu’un microphone couplé à l’outil ou au poignet surpasse un micro d’ambiance noyé par les ventilateurs, la climatisation et les personnes présentes.
Profondeur : géométrie métrique, et ses limites
La profondeur lève l’ambiguïté d’échelle inhérente à une simple image RGB. Un capteur RGB-D fournit directement une géométrie métrique, ce qui facilite la planification de la prise, la vérification des collisions, et toute politique devant placer un objet à une distance réelle plutôt qu’à un décalage en pixels. DROID, un jeu de données de téléopération en conditions réelles comptant environ 76 000 trajectoires, associe stéréo et profondeur à son RGB afin que les scènes soient ancrées dans l’espace métrique plutôt que réduites à de simples images planes.
La profondeur n’est pas exempte de défaillances, et elle échoue précisément sur ce dont la manipulation se soucie le plus. Les capteurs à lumière structurée et à temps de vol renvoient du bruit ou des trous vides sur la verrerie transparente, le métal spéculaire, les arêtes fines et les surfaces mates sombres. La stéréo a besoin de texture pour établir des correspondances et devient aveugle face à un mur uni. Et la profondeur décrit la géométrie, pas le contact ; elle se tait à l’instant précis où deux surfaces se rencontrent, c’est-à-dire à l’instant où la tâche devient difficile.
Ce que chaque modalité vous apporte
Aucun canal ne suffit à lui seul, et aucun n’est gratuit. L’arbitrage est concret.
| Modalité | Cadence typique | Ce qu’elle apporte | Où elle échoue |
|---|---|---|---|
| Vidéo RGB | 30-60 Hz | Disposition de la scène, identité des objets, sémantique | Pas de force, pas d’échelle métrique, replie le contact rapide |
| Profondeur / RGB-D | 30-60 Hz | Géométrie métrique, planification de la prise et des collisions | Surfaces transparentes, spéculaires, fines et sombres |
| Force-couple au poignet | 0,5-1 kHz | Charge de contact nette, détection de blocage et de poussée | Pas de localisation spatiale du contact, dérive et biais |
| Tactile aux doigts | 0,1-1 kHz | Localisation du contact, cisaillement, glissement naissant | Champ de vision réduit, usure, coût d’étalonnage |
| Audio de contact | 44,1-48 kHz | Début du contact, événements, indices de matériau | Bruit ambiant, difficile à localiser dans l’espace |
| Proprioception | 0,1-1 kHz | État articulaire, l’étiquette d’action elle-même | Ne dit rien du monde au-delà du bras |
La vraie difficulté, c’est le temps, pas les capteurs
Boulonner six capteurs sur un montage, c’est l’affaire d’un week-end. Rendre leurs données fiables ensemble, voilà le vrai projet. Chaque flux arrive avec sa propre horloge : vidéo autour de 30 Hz, profondeur autour de 30 Hz, force au kilohertz, audio à 48 kHz, codeurs articulaires quelque part entre les deux. Si un événement de contact dure 5 ms et que vos horodatages de force et de vidéo divergent de 20 ms, aucun modèle ne peut apprendre que le pic de force et l’événement visuel correspondent au même instant. Il apprend à la place un décalage erroné, et un décalage erroné est pire qu’un canal manquant.
Le véritable livrable d’une chaîne de capture n’est donc pas la liste des modalités ; c’est l’alignement temporel infra-image entre elles toutes, assorti d’étiquettes de cadence honnêtes par canal, afin qu’un pipeline d’entraînement sache ce qu’il rééchantillonne et dans quelle proportion. Ego-Exo4D, qui associe vidéo égocentrique et vidéo à la troisième personne à de l’audio spatial sur plus d’un millier d’heures, relève autant de la synchronisation multi-flux que de la collecte elle-même. Si les horodatages sont faux, chaque modalité supplémentaire devient pire qu’inutile, car chacune apprend désormais au modèle des corrélations qui n’ont jamais existé.
Rien de tout cela ne plaide contre le RGB. La vision reste l’épine dorsale ; c’est elle qui permet à une politique de trouver le port en premier lieu. L’argument est plus étroit et plus difficile à esquiver. Les tâches qui défient encore les robots sont celles à contact riche, et ces tâches vivent dans des signaux qu’une caméra n’allait jamais enregistrer. Capturez-les, alignés à la milliseconde près, ou continuez à entraîner des politiques à tendre vers un connecteur dont elles ne sentiront jamais vraiment l’enclenchement.