Taktile Sensorik: Die fehlende Modalität in Roboterdaten

Ein Roboterarm senkt seinen Greifer auf einen zur Hälfte mit Kaffee gefüllten Pappbecher. Auf Kamera wirkt der Griff sauber: Die Finger schließen sich, der Becher hebt ab, das Handgelenk dreht sich zum Tablett. Dann rutscht der Becher einige Millimeter, der Controller presst zur Kompensation stärker zu, und die Becherwand knickt nach innen ein. Der gesamte Fehlschlag wurde in hoher Auflösung und mit hoher Bildrate aufgezeichnet. Fast nichts davon wurde gesehen, denn die Variablen, die versagten, die Scherkraft an der Fingerspitze und die ersten Mikrometer des Rutschens, landeten nie auf einem Pixel.

Fast alle Daten, mit denen heute Manipulations-Policies trainiert werden, stammen von Kameras. Open X-Embodiment hat Dutzende Roboter-Datensätze zusammengefügt, und das gemeinsame Signal über alle hinweg ist RGB plus Propriozeption. DROID hat Teleoperation mit Multi-View-RGB-D skaliert. Ich-Perspektive-Korpora von Menschen wie Ego-Exo4D erfassen im Detail, was Hände aus der Sicht der tragenden Person tun. Sie sind das Substrat für die Vision-Language-Action-Modelle (VLA), die derzeit alle trainieren. Sie teilen sich auch einen blinden Fleck, und es ist genau der, der für die Manipulation am meisten zählt: den Kontakt.

Berührung ist kein Bonuskanal, den man später nachrüstet. Sie ist die Modalität, die die Physik eines Griffs trägt. RGB misst Licht, das von Oberflächen reflektiert wird; in dem Moment, in dem zwei Oberflächen aufeinandertreffen, hören die informativen Variablen auf, Photonen zu sein, und werden zu Kräften. Unverblümt gesagt: Bei kontaktreichen Aufgaben verlässt das nützliche Signal das Bild genau in dem Moment, in dem die Aufgabe schwierig wird.

Was eine Kamera im Moment des Kontakts nicht mehr sieht

Visuelle Wahrnehmung ist hervorragend bis zur Millisekunde vor dem Kontakt. Sie lokalisiert das Objekt, plant die Annäherung und klassifiziert, was gegriffen wird. Dann geschehen drei Dinge gleichzeitig, und eine Kamera erfasst keines davon gut.

• Verdeckung. Die Finger schließen sich genau über der Stelle, die von Interesse ist. Die Kontaktfläche ist jetzt hinter der Hand verborgen, die sie gebildet hat.
• Kraft ist keine visuelle Größe. Ein sanfter Griff und ein zerquetschender können von außen identisch aussehen. Aus Pixeln lassen sich 5 N nicht zuverlässig von 15 N unterscheiden, und Steifigkeit, die Eigenschaft, die einen Becher von einer Dose unterscheidet, bleibt unsichtbar, bis sich etwas verformt.
• Rutschen ist schnell und klein. Beginnendes Rutschen, das partielle Mikro-Gleiten, das einem vollständigen Rutschen vorausgeht, ist ein Ereignis unterhalb eines Millimeters und einer Zehntelsekunde. Bis es im Video sichtbar wird, bewegt sich das Objekt bereits.

Die Physik, die Kraftdaten kodieren

Wo die visuelle Wahrnehmung verstummt, wird die Kontaktsensorik laut. Ein taktiler oder Kraftkanal meldet genau die Größen, die tatsächlich darüber entscheiden, ob ein Griff hält:

• Normal- und Scherkraft sowie das Moment um den Kontaktpunkt, die gemeinsam entscheiden, ob das Objekt an Ort und Stelle bleibt oder sich aus dem Griff herausdreht.
• Beginnendes Rutschen, das es einem Controller erlaubt, die Griffkraft gerade ausreichend zu erhöhen, so wie ein Mensch sich innerhalb von etwa einer Zehntelsekunde anpasst, wenn ein Becher zu entgleiten beginnt.
• Nachgiebigkeit und Textur unterhalb der optischen Auflösung: wie hart eine Oberfläche ist, wie stark sie nachgibt, ob sie glatt oder griffig ist.

Die Hardware, um das zu erfassen, ist real und vielfältig. Visuell basierte taktile Sensoren wie GelSight und DIGIT verwandeln ein weiches Gel und eine winzige Kamera in eine hochauflösende Karte der Kontaktfläche. Kraft-Moment-Sensoren am Handgelenk lesen den sechsachsigen Kraftwinder für die gesamte Hand aus. Die weichen „Bubble"-Greifer des Toyota Research Institute haben deformierbare taktile Sensorik von einer Laborkuriosität zu einem tragenden Bestandteil eines Manipulations-Stacks gemacht. Kraft-Moment-Regelkreise am Handgelenk laufen mit nahezu einem Kilohertz, eine Größenordnung schneller als ein typischer Kamera-Stream, während kamerabasierte taktile Sensoren mit Videorate abtasten, weil ihr Sensorelement eine Kamera ist.

Visuelle Wahrnehmung sagt einem Roboter, wohin er greifen soll. Nur der Kontakt sagt ihm, ob der Griff funktioniert hat.

Zwei Modalitäten im Vergleich

Nüchtern betrachtet stehen die beiden Kanäle nicht in Konkurrenz zueinander. Sie ergänzen sich und erreichen ihren Höhepunkt zu unterschiedlichen Zeitpunkten derselben Bewegung: visuelle Wahrnehmung vor dem Kontakt, Kraft während dessen.

Warum Kontaktdaten kaum existieren

Wenn Kraft so zentral ist, warum steckt dann fast nichts davon in den großen Trainingsdatensätzen? Die Antwort ist banal und strukturell: Kontaktdaten sind schwer zu erfassen und noch schwerer zu standardisieren.

Kameras sind billig, austauschbar und sprechen ein gemeinsames Format. Auf taktile Sensoren trifft nichts davon zu. Es gibt viele inkompatible Bauformen, sie driften und verschleißen, die Kalibrierung erfolgt pro Einheit, und es gibt kein gemeinsames Schema dafür, was eine „Tastmessung" zwischen zwei Labors überhaupt bedeutet. Teleoperations-Rigs, das Arbeitspferd der modernen Datenerfassung, streamen selten kalibrierte Kraft parallel zum Video. Und die größte aller menschlichen Demonstrationsquellen, Video aus der Ich-Perspektive, verfügt über gar keine Kraft-Ground-Truth: Ego-Exo4D weiß, wo sich eine Hand befindet, nicht, was sie fühlt.

Einige Datensätze stemmen sich dagegen. RH20T kombiniert bewusst Multi-View-Vision mit Kraft-Moment und Audio, sodass eine Policy lernen kann, wie sich ein Kontaktereignis anhört und anfühlt, nicht nur, wie es aussieht. Auf der Modellseite behandeln sowohl die Large Behavior Models des Toyota Research Institute als auch die Arbeiten zur Fingerfertigkeit bei Physical Intelligence reichhaltiges, geschlossenes Kontaktverhalten als Ziel und nicht als nachträglichen Gedanken. Das bleibt die Ausnahme. Das Standard-Korpus ist nach wie vor überwältigend visuell, was bedeutet, dass viele Policies still und leise lernen, Kontakt aus visuellen Priors zu erraten, und diese Vermutung bricht bei einem neuen Objekt, einem neuen Material oder einem misslungenen Griff zusammen.

Was sich ändert, wenn Kraft Teil des Trainingsdatensatzes ist

Kontakt ist auch die Stelle, an der Simulation am meisten schmerzt. Steife Kontakte, Reibung und Verformung sind der unzuverlässigste Teil jeder Physik-Engine, sodass eine rein in Simulation trainierte Policy ein Kontaktmodell erbt, das nicht zur realen Welt passt. Reale, kalibrierte Kraftdaten sind der Anker, der solche Policies zurück zur Realität zieht, und es ist ein Signal, das ein VLA-Backbone wie NVIDIAs Isaac GR00T aufnehmen kann, sofern die Daten vorhanden sind, um es zu füttern.

Der Ertrag zeigt sich genau bei den Aufgaben, die rein visuelle Systeme blamieren: einen Stecker einführen, einen Steckverbinder setzen, eine verformbare Tasche handhaben, ein Werkzeug benutzen, dessen Rückmeldung gefühlt statt gesehen wird. Das sind keine Randfälle. Es ist der Großteil der Arbeit, die man von einem Humanoiden zu Hause oder im Lager verlangen würde.

Das Kameraproblem in der Robotik wurde größtenteils durch Skalierung gelöst. Das Berührungsproblem wird es nicht werden, denn die Daten, um es zu lösen, liegen nicht im Internet und warten darauf, abgegriffen zu werden. Sie müssen gezielt erfasst werden, mit gemessenen und auf alles andere abgestimmten Kräften. Die Teams, die Kontakt schon jetzt als erstklassige Modalität behandeln, statt als Kanal, den man hinzufügt, sobald die visuelle Pipeline funktioniert, sind diejenigen, deren Roboter den Becher auch in einem Jahr noch halten werden.