Multimodale Roboterdaten: Kraft, Audio und Tiefe jenseits von RGB
Kraft, Kontakt-Audio und Tiefe tragen das, worauf kontaktreiche Manipulation beruht, die Signale, die RGB nie aufzeichnet. Was zu erfassen ist, und warum das Timing schwierig ist.
Stecken Sie einen USB-A-Stecker in einen Port, den Sie nicht sehen können. Sie verfehlen ihn, spüren die Kante der Buchse, drehen den Stecker um ein paar Grad, spüren, wie die Zunge einrastet, und drücken. In unter zwei Sekunden, und fast keine der nützlichen Informationen aus dieser Korrektur erreichte Ihre Augen. Sie kam über Ihre Fingerspitzen als Kraft, über das leise Klicken als Ton und über eine Geometrie, die Ihre Hand bereits kannte.
Die meisten Datensätze für robotergestütztes Lernen hätten diesen Moment als Videoclip und eine Folge von Gelenkwinkeln aufgezeichnet. Das reicht, um eine Policy zu trainieren, die zum Port greift. Es reicht nicht, der Policy beizubringen, was zu tun ist, wenn der Stecker klemmt, denn das Klemmen erscheint nie in den Pixeln. Kontaktreiche Manipulation, Einführen, Wischen, Abziehen, Schneiden, Knöpfen, Falten, wird von Signalen dominiert, die eine Kamera nicht erfasst.
Das ist das Argument dafür, mehr als RGB zu erfassen. Was Kraft, Audio und Tiefe jeweils hinzufügen, wo jedes einzelne versagt, und warum die eigentliche technische Herausforderung nicht die Sensoren sind, sondern deren Takte synchron zu halten.
Was eine Kamera nicht sehen kann
Ein RGB-Bild ist eine Projektion. Es zeigt, wo Oberflächen im Bild landen, mit welcher Rate auch immer der Verschluss läuft, üblicherweise 30 bis 60 Hz. Es sagt nichts darüber aus, wie fest zwei Oberflächen aufeinanderdrücken, ob ein Griff zu rutschen beginnt oder wie weit etwas in Metern entfernt ist. Für Pick-and-Place im freien Raum fällt diese Lücke selten ins Gewicht; eine Policy kann sich allein aus dem visuellen Strom erholen. Die Sammlung Open X-Embodiment, die mehr als eine Million Trajektorien aus über 20 Labors bündelt, besteht überwiegend aus RGB plus Propriozeption und trainiert dennoch fähiges Greif- und Zugriffsverhalten.
Kontakt verändert das Problem. In dem Moment, in dem zwei starre Körper sich berühren, wandert das informative Signal von der Optik zur Mechanik. Ein Stift, der mit 0,1 mm Spiel in eine Bohrung eindringt, erzeugt Klemmkräfte, die eine 30-Hz-Kamera zeitlich nicht auflösen kann und die sie innerhalb einer engen Aufnahmevorrichtung oft gar nicht sieht. Die Policy, die diese Einführung löst, reagiert auf Kraft, nicht auf Pixel. Trainiert man sie allein mit Video, hat man ihr die Annäherung beigebracht und dabei genau den Teil verborgen, der tatsächlich scheitert.
Kraft und Taktilität: das Signal, um das es bei der Aufgabe geht
Hinter dem Wort Berührung verbergen sich zwei unterschiedliche Signale. Kraft-Moment am Handgelenk ist eine 6-Achsen-Messung, drei Kräfte und drei Momente, gemessen am Handgelenk des Roboters, und sie gibt die Gesamtlast wieder, die auf dem lastet, was die Hand hält. Taktile Sensorik ist über die Fingerspitzen verteilt und meldet das Druckfeld direkt an der Kontaktfläche, häufig über einen bildbasierten Sensor wie ein Elastomer im GelSight-Stil, das seine eigene Verformung fotografiert. Das eine sagt Ihnen, dass Sie drücken, das andere sagt Ihnen, wo, und ob Sie kurz davor sind abzurutschen.
Beide müssen schnell sein. Kontaktereignisse sind kurz und hart: ein Riegel, der einrastet, eine Schraube, die ein Gewinde fasst, ein gegriffenes Objekt, das zu rutschen beginnt, jedes davon kann sich in wenigen Millisekunden abspielen. Tastet man Kraft mit 30 Hz ab, aliasiert man genau den Übergang, auf den es ankommt, und verschmiert ein scharfes Ereignis zu einer Unschärfe. Praxistaugliche Rigs erfassen Kraft-Moment am Handgelenk mit einigen hundert Hertz bis zu einem Kilohertz, eine Größenordnung über der Videorate. RH20T, ein Manipulations-Datensatz, der gezielt um kontaktreiche Fertigkeiten herum aufgebaut ist, erfasst genau aus diesem Grund Kraft-Moment am Handgelenk und Audio neben RGB-D.
Eine Kamera kann beobachten, wie sich ein Stift einer Bohrung nähert. Sie kann nicht fühlen, wie der Stift klemmt, und die Policy, die die Einführung löst, reagiert genau auf das, was die Kamera verpasst hat.
Audio: die Modalität, die die meisten Teams auslassen
Audio ist die günstigste Modalität, die man hinzufügen kann, und diejenige, die am häufigsten am Rig fehlt. Kontakt erzeugt Geräusch, und dieses Geräusch ist oft ein besserer Kontaktdetektor als Kraft. Das Klicken einer Schnalle, das Scharren eines Schwamms über eingetrocknete Speisereste, das Setzen einer Schraube, das hohle Klopfen, das anzeigt, dass ein Behälter leer ist: Jedes davon ist ein scharfes akustisches Ereignis mit eindeutigem Einsatz. Ein Kontaktmikrofon, das mit 44,1 oder 48 kHz abtastet, erfasst einen Übergang, den eine 30-Hz-Kamera vollständig verpasst.
Akademische Robotiklabore haben wiederholt gezeigt, dass Audio echtes Aufgabensignal trägt, von der Unterscheidung von Materialien bis zur zuverlässigeren Bestimmung des Kontaktzeitpunkts als über die Optik. Der praktische Haken ist, dass der nützliche Teil des Roboter-Audios größtenteils körperschallübertragen ist, weshalb ein am Werkzeug oder Handgelenk gekoppeltes Mikrofon einem Raummikrofon überlegen ist, das von Lüftern, Klimaanlage und Umstehenden überlagert wird.
Tiefe: metrische Geometrie, und wo sie versagt
Tiefe beseitigt die Skalenmehrdeutigkeit, die einem einzelnen RGB-Bild innewohnt. Ein RGB-D-Sensor liefert direkt metrische Geometrie, was der Griffplanung, der Kollisionsprüfung und jeder Policy hilft, die ein Objekt in einer realen Entfernung statt in einem Pixel-Versatz platzieren muss. DROID, ein Teleoperations-Datensatz aus der freien Wildbahn mit rund 76.000 Trajektorien, kombiniert Stereo und Tiefe mit seinem RGB, sodass die Szenen im metrischen Raum verankert sind statt als flache Bilder belassen zu werden.
Tiefe ist nicht fehlerfrei, und sie versagt gerade bei den Dingen, auf die es bei der Manipulation am meisten ankommt. Structured-Light- und Time-of-Flight-Sensoren liefern Rauschen oder leere Löcher bei transparentem Glasgeschirr, spiegelndem Metall, dünnen Kanten und dunklen matten Oberflächen. Stereo braucht Textur zum Abgleich und wird an einer leeren Wand blind. Und Tiefe beschreibt Geometrie, nicht Kontakt; sie verstummt genau in dem Moment, in dem sich zwei Oberflächen berühren, und das ist der Moment, in dem die Aufgabe schwierig wird.
Was jede Modalität einbringt
Kein einzelner Kanal reicht aus, und keiner ist kostenlos. Der Kompromiss ist konkret.
| Modalität | Typische Rate | Was sie hinzufügt | Wo sie versagt |
|---|---|---|---|
| RGB-Video | 30-60 Hz | Szenenlayout, Objektidentität, Semantik | Keine Kraft, keine metrische Skalierung, aliasiert schnellen Kontakt |
| Tiefe / RGB-D | 30-60 Hz | Metrische Geometrie, Griff- und Kollisionsplanung | Transparente, spiegelnde, dünne und dunkle Oberflächen |
| Kraft-Moment am Handgelenk | 0,5-1 kHz | Gesamtkontaktlast, Erkennung von Klemmen und Druck | Keine räumliche Kontaktlokalisierung, Drift und Bias |
| Taktilität an den Fingerspitzen | 0,1-1 kHz | Kontaktort, Scherung, beginnendes Abrutschen | Kleines Sichtfeld, Verschleiß, Kalibrierungsaufwand |
| Kontakt-Audio | 44,1-48 kHz | Kontaktbeginn, Ereignisse, Materialhinweise | Umgebungsgeräusche, schwer räumlich zu lokalisieren |
| Propriozeption | 0,1-1 kHz | Gelenkzustand, das Aktionslabel selbst | Sagt nichts über die Welt jenseits des Arms aus |
Der schwierige Teil ist die Zeit, nicht die Sensoren
Sechs Sensoren an ein Rig zu schrauben ist eine Wochenendarbeit. Ihre Daten gemeinsam vertrauenswürdig zu machen, ist das eigentliche Projekt. Jeder Strom läuft nach seinem eigenen Takt: Video bei etwa 30 Hz, Tiefe bei etwa 30 Hz, Kraft im Kilohertz-Bereich, Audio bei 48 kHz, Gelenkencoder irgendwo dazwischen. Dauert ein Kontaktereignis 5 ms und weichen Ihre Kraft- und Video-Zeitstempel um 20 ms voneinander ab, kann kein Modell lernen, dass der Kraftimpuls und das visuelle Ereignis derselbe Moment sind. Stattdessen lernt es einen falschen Versatz, und ein falscher Versatz ist schlimmer als ein fehlender Kanal.
Der eigentliche Liefergegenstand eines Erfassungs-Stacks ist deshalb nicht die Liste der Modalitäten; es ist die zeitliche Ausrichtung unterhalb der Bildrate über alle hinweg, dazu ehrliche Ratenangaben pro Kanal, damit eine Trainingspipeline weiß, was sie resampelt und um wie viel. Ego-Exo4D, das Ich-Perspektive- und Drittperson-Video mit Raumklang über mehr als tausend Stunden hinweg kombiniert, ist ebenso sehr eine Übung in Multi-Stream-Synchronisation wie in Erfassung. Stimmen die Zeitstempel nicht, ist jede zusätzliche Modalität schlimmer als nutzlos, denn jede bringt dem Modell dann Korrelationen bei, die es nie gab.
Nichts davon ist ein Argument gegen RGB. Die Bildgebung bleibt das Rückgrat; so findet eine Policy überhaupt erst den Port. Die eigentliche Aussage ist enger gefasst und schwerer abzutun. Die Aufgaben, an denen Roboter noch immer scheitern, sind die kontaktreichen, und diese Aufgaben leben in den Signalen, die eine Kamera nie aufzeichnen würde. Erfassen Sie sie, auf die Millisekunde ausgerichtet, oder trainieren Sie weiter Policies, die nach einem Stecker greifen, den sie nie wirklich einrasten spüren werden.