Was kontaktreiche Manipulation von Daten erfordert
Kraft- und Tastsignale, nicht Pixel, entscheiden über kontaktreiche Manipulation. Warum RGB sie niemals liefern kann und warum Tastdaten der eigentliche Engpass sind.
Beobachten Sie, wie sich eine Roboterhand um eine reife Erdbeere schließt. Die Kamera verfolgt die Annäherung sauber: Die Finger spreizen sich, die Frucht liegt im Bild, der Greifer senkt sich ab. Dann berühren sich die Fingerspitzen, und genau die Pixel, auf die es ankommt, verschwinden. Die Kontaktfläche liegt jetzt verborgen hinter genau den Fingern, die den Kontakt herstellen. Ob die Hand in einen festen, sicheren Griff übergeht oder weiter schließt, bis die Frucht platzt, entscheidet sich in einem Fenster von wenigen Millisekunden, anhand eines Signals, das die Kamera nie aufgezeichnet hat: Kraft.
Für Pick-and-Place im freien Raum reicht RGB fast aus. Es zeigt, wo sich Objekte befinden, wie sie ausgerichtet sind und wohin der Greifer sich bewegen soll. Was es nicht zeigen kann, ist, wie fest. In dem Moment, in dem ein Roboter drückt, wischt, einführt, dreht oder gegen Widerstand zieht, verschiebt sich die entscheidende Variable von der Geometrie zur Mechanik, und Mechanik sendet keine Photonen aus. Das ist der blinde Fleck im Zentrum kontaktreicher Manipulation, und weder höhere Auflösung noch ein größerer Vision-Transformer werden ihn schließen.
Der Großteil des Robot Learning der letzten drei Jahre baut auf Bilddaten und Gelenkpositionen auf, weil genau das in den großen Datensätzen enthalten ist. Open X-Embodiment fügte Demonstrationen aus mehr als 20 Labors zusammen; DROID trieb die Erfassung von Manipulationsdaten über eine breite Palette von Szenen und Gebäuden voran. Beide sind überwiegend visuell. Das ist ein vernünftiger Ausgangspunkt und ein schlechter Endpunkt. Dieser Beitrag beschreibt, was kontaktreiche Arbeit tatsächlich von einem Trainingskorpus verlangt, und warum Kraft- und Tastkanäle tragend sind, nicht optional.
Wo die Kamera blind wird
Drei Fehlermuster wiederholen sich. Das erste ist Verdeckung: Im Moment des Kontakts verdeckt der Manipulator selbst die Kontaktstelle, sodass genau der informativste Bereich des Bildes derjenige ist, den man nicht sieht. Das zweite ist Latenz. Sichtbare Verformung hinkt der Kraft hinterher, die sie verursacht hat, sodass eine auf Pixeln trainierte Policy erst nach dem mechanischen Ereignis reagiert, statt während dessen. Das dritte ist Mehrdeutigkeit: Ein starres Teil, das in einer Vorrichtung ruht, und dasselbe Teil, das mit 30 Newton gegen ein verkantetes Loch gepresst wird, können über viele Frames hinweg identisch aussehen. Vision meldet die Folgen von Kraft, langsam und indirekt. Sie meldet keine Kraft.
Nichts davon lässt sich durch eine bessere Kamera beheben. Tiefeninformation hilft dabei, die Oberfläche zu erreichen, und verstummt dann in dem Moment, in dem die Oberfläche berührt und verdeckt wird. Höhere Bildraten verengen die Latenzlücke, geben aber nie die Größenordnung an. Man kann eine zerdrückte Erdbeere im Nachhinein labeln; aus keinem einzigen RGB-Frame lässt sich der 20-Millisekunden-Anstieg der Greifkraft rekonstruieren, der über ihr Schicksal entschieden hat.
Was kontaktreich tatsächlich bedeutet
Kontaktreiche Aufgaben teilen eine Signatur: Der Erfolg hängt davon ab, Kraft über eine Abfolge von Kontaktaufnahmen und -abbrüchen zu regulieren, oft mit Toleranzen, die enger sind, als das Vision-System auflösen kann. Stift- und Steckverbindereinführung. Das Wischen und Schaben einer Oberfläche. Schneiden. Stoffe falten. Einen Verschluss auf eine Flasche schrauben. Ein Zahnrad einsetzen. Das Toyota Research Institute hat explizit gemacht, dass seine Large Behavior Models genau dieses feinmotorische, kontaktintensive Regime adressieren, und Physical Intelligence hat generalistische Policies bei Aufgaben wie dem Falten von Wäsche gezeigt, bei denen das Objekt unter der Hand seine Form verändert.
Das sind keine Randfälle. Sie machen den Großteil der wirtschaftlich interessanten Arbeit aus: Montage, Verkabelung und Verdrahtung, Lebensmittelhandhabung, Verpackung, Körperpflege. Der gemeinsame Nenner ist, dass Geometrie einen zum ersten Kontakt bringt, und alles danach ist Mechanik.
Die Signale, die RGB niemals liefern kann
Es geht nicht darum, dass Vision schwach ist. Es geht darum, dass jeder Kanal eine Domäne hat, und Kraft und Tastsinn decken genau die Domäne ab, in der der Wert kontaktreicher Arbeit liegt. Die folgende Tabelle benennt bewusst schonungslos, wo jede Modalität aufhört, nützlich zu sein.
| Kanal | Meldet gut | Native Rate (Größenordnung) | Blinder Fleck |
|---|---|---|---|
| RGB-Video | Objektidentität, Pose, Szenenlayout | 30-60 fps | Kraftbetrag, Kontaktzustand, beginnendes Abrutschen |
| Tiefe | Geometrie, Abstand zum Kontakt | ~30 fps | Alles nach dem ersten Kontakt, sobald verdeckt |
| Gelenk-Propriozeption | Armkonfiguration, Gesamtlast | 100-1000 Hz | Fingerspitzenkräfte, lokales Abrutschen |
| Handgelenk-Kraft-Moment-Sensorik | Resultierender Kontakt-Wrench, Einführwiderstand | ~500-1000 Hz | Wo an der Hand die Kraft wirkt |
| Taktile Fingerspitzensensorik | Lokaler Druck, Scherkraft, beginnendes Abrutschen | 100 Hz bis in den unteren kHz-Bereich | Globale Szene, Objektidentität |
Eine Policy, die Kontakt immer nur gesehen hat, kann nicht fühlen, wann sie zu fest gedrückt hat. Bis die Erdbeere sichtbar zerdrückt ist, kommt das Label bereits drei Frames zu spät.
Warum die großen Datensätze Tastsinn unterrepräsentieren
Diese Knappheit ist struktureller Natur. Ego-Exo4D und das frühere Ego4D erfassten Tausende Stunden menschlicher Aktivität, ein bemerkenswertes egozentrisches Vision-Korpus, jedoch aus kopfgetragenen Kameras, praktisch ohne kalibrierte Kraftmessung an den Händen. Open X-Embodiment und DROID koppeln Vision mit Propriozeption, die die Armkonfiguration meldet, nicht den Kontakt an den Fingerspitzen. RH20T ist eine der wenigen großen Sammlungen, die bewusst Multi-View-Vision mit Kraft-Moment- und taktilen Messwerten kombiniert, und genau deshalb sticht sie heraus. Das Ergebnis ist ein Feld mit einem enormen visuellen Korpus und einer dünnen, fragmentierten Aufzeichnung von Tastdaten.
Das ist relevant, weil ein Modell nur aus den Kanälen lernen kann, die die Daten tatsächlich enthalten. Ein visionlastiges Korpus erzeugt vision-geprägte Policies. Keine noch so große Skalierung macht aus einem Datensatz, der nie Kraft gemessen hat, einen, der Kraft lehrt.
Was gute Kontaktdaten erfordern
Tastsinn gut aufzuzeichnen ist schwerer, als einen Sensor anzuschrauben. Vier Anforderungen trennen ein brauchbares Kontaktkorpus von einem verrauschten.
- Rate. Kraft-Moment- und taktile Ereignisse laufen in der Größenordnung von hunderten Hertz bis zu einem Kilohertz ab, während Video mit 30-60 fps läuft. Die Erfassung muss echt multiratig sein, statt Kraft auf die Kamera herunterzutakten.
- Kalibrierung. Ein taktiler Messwert in rohen Sensor-Counts ist nahezu nutzlos. Er muss auf physikalische Einheiten abgebildet werden, Druck und Scherkraft in Newton, sonst lassen sich die Daten eines Labors nicht auf den Roboter eines anderen Labors übertragen.
- Synchronisation. Kraft bei 1 kHz und Video bei 30 fps lehren nur dann etwas, wenn ihre Zeitstempel auf ein Frame genau oder besser übereinstimmen. Ein Abrutschereignis und die Pixel darum herum müssen sich auf denselben Moment beziehen.
- Abdeckung der Regime. Die nützliche Information steckt in den Übergängen: vor dem Kontakt, die Kontaktaufnahme, der stabile Halt, beginnendes Abrutschen, das Loslassen. Daten, die nur den stationären Zustand abtasten, lassen genau die Momente aus, die die Policy am dringendsten braucht.
Die Architekturen sind bereit für Tastsinn. Gemini Robotics, NVIDIA GR00T und Physical Intelligences π0 sind allesamt multimodale Policies, die sich im Prinzip auf Kraft- und Tastströme konditionieren lassen. Was ihnen fehlt, ist nicht Kapazität, sondern Erfahrung: Demonstrationen, in denen das mühsam erworbene Wissen darüber, wie fest man drücken muss, in den Daten festgehalten wird, statt zusammen mit den verdeckten Pixeln auf dem Schneideraumboden zu landen. Zeichnet man die Kraft auf, hört kontaktreiche Autonomie auf, eine Demo zu sein, und wird zu einer Verteilung, auf der man trainieren kann.