Warum fingerfertige Hände reichhaltigere Manipulationsdaten brauchen

Legen Sie eine Münze flach auf einen Tisch und heben Sie sie mit den Fingerspitzen auf. Versuchen Sie es nun mit einer Küchenzange. Die Zange bewältigt einen Stift oder eine Tasse mühelos, doch an der Münze scheitert sie, denn um etwas Dünnes und Flaches von einer ebenen Oberfläche abzuheben, muss ein Fingernagel unter eine Kante gleiten, gefolgt von einem Kneifen und dann einem kleinen Rollen des Objekts in die Handfläche. Diese Lücke, zwischen dem, was eine Zange kann, und dem, was Finger können, ist dieselbe Lücke wie zwischen den Roboterhänden, die die meisten Trainingsdaten beschreiben, und den Roboterhänden, die die Branche tatsächlich bauen will.

Ein zweifingriger Parallelgreifer, der Pick-and-Place ausführt, ist ein weitgehend gelöstes Datenproblem. Es gibt große offene Korpora dazu, und eine moderne Policy lernt es aus ein paar Hundert Demonstrationen. Eine fünffingrige Hand, die ein Teil in der Luft neu ausrichtet, einen Deckel aufschraubt oder eine Schnur bindet, ist ein um Größenordnungen anderes Problem, und die Daten, um es zu lehren, existieren kaum. Der Grund ist nicht, dass es niemand versucht hätte. Es liegt daran, dass Fingerfertigkeit die Datenanforderungen entlang mehrerer Achsen gleichzeitig anhebt.

Dieser Beitrag geht der Frage nach dem Warum nach. Nicht, dass Fingerfertigkeit schwieriger ist, das räumt jeder ein, sondern konkret, was Fingerfertigkeit von einer Trainingsaufzeichnung verlangt, was ein Greifer nie musste: weit mehr Freiheitsgrade, die überwacht werden müssen, Kontaktereignisse, die schneller und zahlreicher sind, ein Rutschen und Neugreifen in der Hand, das eine einzelne Kamera nicht auflösen kann, und eine Fingerkoordination, für die es keine billige Abkürzung gibt.

Die Lücke bei den Freiheitsgraden

Beginnen wir mit der Anzahl. Ein Parallelbacken-Greifer hat einen einzigen angetriebenen Freiheitsgrad: Er öffnet sich, er schließt sich. Alles andere, wohin er sich bewegt, ist Aufgabe des Arms. Montieren Sie eine fünffingrige Hand an denselben Arm, kommen je nach Bauweise etwa sechzehn bis vierundzwanzig angetriebene Gelenke hinzu, die sich alle gemeinsam bewegen. Die menschliche Hand, die eine Roboterhand nachahmt, bringt selbst mehr als zwanzig Freiheitsgrade mit.

Das ist kein linearer Anstieg der Schwierigkeit. Eine Demonstration muss für jedes gesteuerte Gelenk zu jedem Zeitschritt ein Überwachungsziel liefern. Bei einem Greifer ist dieses Ziel nahezu ein einzelner Skalar: wie weit geöffnet. Bei einer fingerfertigen Hand ist es ein hochdimensionaler Vektor, der in sich konsistent sein muss, weil die Finger Sehnen teilen, dasselbe Objekt berühren und sich gegenseitig einschränken. Sie können den Daumen nicht kennzeichnen, ohne zu berücksichtigen, was die anderen vier Finger gerade tun. Der Aktionsraum, den die Policy zu erzeugen lernen muss, springt von einem einzigen Kanal auf etwa zwanzig koordinierte Kanäle.

Eine Greifer-Demonstration beantwortet in jedem Augenblick eine Frage: wie weit geöffnet. Eine fingerfertige Demonstration beantwortet zwanzig zugleich, und sie ergeben nur gemeinsam einen Sinn.

Manipulation in der Hand ist eine ganz andere Kategorie

Pick-and-Place ist, selbst mit einer ausgefeilten Hand, größtenteils Transport: greifen, bewegen, loslassen. Der Griff ist, einmal gebildet, statisch. Fingerfertigkeit, in dem Sinn, der zählt, ist das, was passiert, wenn das Objekt weiter in Bewegung bleibt, nachdem Sie es gegriffen haben. Eine Schraube neu ausrichten, um ihr Gewinde zu finden. Einen Stift über die Finger wandern lassen, um die Spitze nach vorn zu bringen. Ein Werkzeug, das im falschen Winkel in der Hand gelandet ist, neu greifen. Robotiker nennen die Finger-für-Finger-Staffel, die das ermöglicht, finger gaiting, und dafür gibt es im Wortschatz eines Greifers kein Gegenstück.

Manipulation in der Hand bricht mit den Annahmen, auf denen die billigen Daten aufgebaut waren. Kontakt ist nicht mehr ein einzelnes Herstellen-und-Lösen an den Fingerspitzen, sondern eine fortlaufende Abfolge von Herstellen und Lösen, verteilt auf fünf Finger, von denen jeder kurz die Last trägt und dann losgelassen wird, während ein anderer übernimmt. Rutschen hört auf, ein zu vermeidender Fehler zu sein, und wird zu einem kontrollierten Werkzeug: Sie lassen das Objekt um ein bemessenes Maß gleiten und stoppen es dann ab. Die Dactyl-Arbeit von OpenAI richtete einen Block und später einen Zauberwürfel in einer einzigen Hand neu aus, stützte sich dabei aber fast vollständig auf Simulation und Domain-Randomisierung, gerade weil kein reales Korpus dieses Verhaltens existierte, aus dem man hätte lernen können.

Warum eine einzelne Handgelenkkamera es nicht sehen kann

Das Standard-Sensorpaket, das Greiferdaten günstig gemacht hat, eine Handgelenkkamera plus Gelenkencoder, reicht hier still und leise nicht mehr aus. Das Problem ist Selbstverdeckung. Während der Manipulation in der Hand sitzt das Objekt mitten in der Hand, umgeben von genau den Fingern, die die Arbeit verrichten. Eine Handgelenkkamera blickt über den Handrücken auf ein Bündel von Fingern, die sowohl das Objekt als auch sich gegenseitig verdecken. Ausgerechnet die informationsdichteste Region der Szene ist diejenige, die am zuverlässigsten verdeckt wird.

Zusätzliche externe Kameras helfen, stoßen aber von außen an dieselbe Wand: In jedem Moment sind die meisten Fingerspitzen durch die Geometrie der Hand selbst verdeckt. Deshalb kann sich die Erfassung von Fingerfertigkeit nicht auf Bildmaterial verlassen, um den Zustand im Nachhinein zu rekonstruieren. Die Fingergelenkwinkel müssen direkt an der Quelle gemessen werden, durch den Handschuh oder die eigenen Encoder der Hand, denn es gibt keinen Kamerawinkel, aus dem sie alle gleichzeitig sichtbar wären. Gruppen, die gelernte Fingerfertigkeit vorantreiben, etwa das IRIS lab der Stanford University und die breitere Literatur zur Manipulation in der Hand auf arXiv, stoßen immer wieder auf dieselbe Einschränkung: Der Ground Truth für eine Hand lässt sich nicht zuverlässig aus Pixeln rekonstruieren.

Was eine fingerfertige Demonstration enthalten muss

Stellt man die Anforderungen nebeneinander, tritt der Sprung deutlich hervor. Dasselbe Aufgabenverb, es aufheben, verbirgt eine sprunghafte Veränderung dessen, was die Aufzeichnung enthalten muss.

Zwei Zeilen verdienen besondere Beachtung. Die Framerate: Der einzelne Kontaktübergang eines Greifers lässt sich ohne großen Aufwand von einem schnellen taktilen Kanal einfangen, doch finger gaiting packt mehrere Kontaktübergänge in die Zeit, die ein Greifer für einen einzigen braucht, sodass die Kraft- und Taktilströme mit mehreren Hundert Hertz laufen müssen, sonst verschwimmt das Neugreifen zwischen den Samples. Und die Kraft pro Fingerspitze: Ein einzelner Kraft-Moment-Sensor am Handgelenk meldet nur die resultierende Kraft-Moment-Summe für die gesamte Hand, was nichts darüber aussagt, welcher Finger gerade rutscht. Fingerfertigkeit braucht eine pro Kontakt aufgelöste Kraft, was taktile Sensorik an jeder Fingerspitze bedeutet, kalibriert auf physikalische Einheiten.

Warum diese Daten in großem Maßstab kaum existieren

All das oben Genannte macht fingerfertige Demonstrationen teuer in der Herstellung, und diese Kosten äußern sich als Abwesenheit. Die großen offenen Manipulationskorpora sind ganz überwiegend Greiferdaten, weil das die meisten Forschungsroboter mitbringen und was Teleoperations-Rigs günstig produzieren. Datensätze, die Bildmaterial mit realen Kraft- und Taktilmessungen paaren, wie RH20T, sind die Ausnahme, nicht die Regel, und selbst sie neigen zu einfacheren Endeffektoren. Daten zur Manipulation in der Hand mit hoher DOF-Zahl, pro Finger aufgelöst und kraftinstrumentiert, sind die dünnste Schicht eines ohnehin schon dünnen Angebots.

Die aktuellen Antworten des Feldes sind aufschlussreich. Das Programm Isaac GR00T von NVIDIA vermischt reale Roboterdaten, menschliches Video und große Mengen an Simulation, genau weil reale fingerfertige Demonstrationen zu selten sind, um allein darauf zu trainieren, und dessen GEAR lab hat vorangetrieben, fingerfertige Demonstrationen synthetisch zu erzeugen, um die wenigen vorhandenen realen Daten zu vervielfachen. Physical Intelligence hat generalistische Policies bei echt fingerfertigen, verformbaren Aufgaben gezeigt, und der rote Faden dieser Arbeit ist, dass der schwierige Teil zuallererst darin bestand, überhaupt Demonstrationen des Verhaltens zusammenzustellen. Wenn der Standardschritt darin besteht, Daten in Simulation herzustellen, ist das ein Indiz dafür, dass das Reale fehlt.

Der ehrliche Weg, einen Clip einer Roboterhand zu lesen, die einen Knoten bindet, ist deshalb nicht, dass das Modell klug geworden ist. Es ist, dass jemand das Datenproblem für genau dieses eine Verhalten gelöst hat, meist mit einem langen Umweg über die Simulation. Greifer haben dem Feld beigebracht, dass Manipulation aus ein paar hundert Demonstrationen gelernt werden kann. Hände lehren es das Kleingedruckte: dass diese Zahl immer eine Funktion davon war, wie viele Dinge der Endeffektor konnte, und eine Hand kann sehr viel mehr. Die Lücke zu schließen, hängt weniger an einer cleveren Policy als daran, hinauszugehen und, Gelenk für Gelenk und Finger für Finger, die Fingerfertigkeit aufzuzeichnen, die kein Greiferkorpus je enthielt.