Retargeting: eine menschliche Demonstration auf einen Roboterkörper abbilden
Eine menschliche Hand hat mehr als zwanzig Gelenke, ein Robotergreifer nur zwei. Retargeting schreibt eine Demonstration in den Körper des Roboters um, und genau hier entsteht das Leck.
Ein Mensch hebt einen Becher, indem er einen Finger durch den Henkel hakt und den Daumen auf dem Rand ablegt. Das kostet ihn keinen Gedanken. Geben Sie denselben Clip nun einem Roboter, dessen Hand ein zweifingriger Parallelgreifer ist. Da ist kein Finger zum Einhaken, kein überzähliger Finger, kein Daumen, der den Rand stabilisiert. Die Demonstration ist im selben Moment makellos und unbrauchbar, denn sie ist in einem Körper geschrieben, den der Roboter nicht besitzt.
Das ist die stille Steuer auf jedes Versprechen, dass billiges menschliches Videomaterial das Lernen von Robotern speisen soll. Eine Kamera an der Stirn eines Linienkochs erfasst Hunderte Griffe pro Stunde, aber keiner davon kommt in einer Form an, die ein Greifer ausführen kann. Die Gelenkwinkel gehören einer menschlichen Hand. Die Reichweite gehört einem menschlichen Arm. Das Timing gehört einem menschlichen Nervensystem. Zwischen dem Filmmaterial und einer ausführbaren Roboteraktion liegt ein Übersetzungsschritt, und er hat einen Namen: Retargeting.
Retargeting überträgt eine Demonstration von dem Körper, der sie hervorgebracht hat, auf den Körper, der sie reproduzieren muss. Gut gemacht, verwandelt sich ein Berg menschlichen Videomaterials in Trainingssignal. Schlecht gemacht, haben Sie einem Roboter beigebracht, eine Bewegung zu jagen, die er physisch niemals ausführen kann. Es lohnt sich, den Vorgang als Pipeline durchzugehen, denn jede Stufe darin leckt, und diese Lecks entscheiden, wie viel von diesem billigen Filmmaterial es überhaupt wert war, erfasst zu werden.
Das zugrunde liegende Problem
In der Robotik heißt der Kern des Problems Korrespondenzproblem: Zwei Akteure mit unterschiedlichen Körpern können keine Aktion teilen, sondern nur eine Absicht. Eine menschliche Hand verfügt über mehr als zwanzig Freiheitsgrade. Ein Parallelgreifer hat einen. Eine dreifingrige Roboterhand hat eine Handvoll. Die Demonstration lebt im ersten Raum, der Roboter im zweiten, und nichts überführt das eine kostenlos in das andere.
Was diesen Übergang übersteht, ist die Absicht: das angesteuerte Objekt, die Art des Griffs, der erreichte Zielzustand. Was nicht übersteht, ist die konkrete Bewegung. Retargeting ist also kein Filter, den man einmal laufen lässt. Es ist eine Kette aus Schätzung und Optimierung, und der Fehler summiert sich entlang dieser Kette. Zu verstehen, wo er sich summiert, macht den Unterschied zwischen menschlichem Videomaterial gut nutzen und sich selbst etwas vormachen.
Stufe eins: rekonstruieren, was der Mensch getan hat
Bevor irgendetwas auf einen Roboter übertragen werden kann, muss die menschliche Bewegung aus Pixeln rekonstruiert werden. Eine Aufnahme aus der Ich-Perspektive ist keine Liste von Gelenkwinkeln, sondern RGB, manchmal Tiefe, manchmal eine Handgelenkansicht. Die erste Stufe schätzt pro Bild die 3D-Handpose, Körperpose und Objektpose: Fingerspitzenpositionen, Handgelenktrajektorie, die Pose des Objekts mit sechs Freiheitsgraden und im Idealfall die Kontaktmomente.
Diese Stufe ist bereits verlustbehaftet. Die monokulare Posenschätzung errät eine Tiefe, die sie nicht sehen kann, Finger verdecken sich gegenseitig während eines Griffs, und der genaue Moment des Kontakts wird aus der Geometrie abgeleitet, statt gefühlt zu werden. Datensätze mit gepaarten Kameras existieren zum Teil, um dem entgegenzuwirken. Ego-Exo4D zeichnet dieselbe geübte Tätigkeit aus synchronisierten Ich-Perspektive- und Drittperson-Kameras auf, was der Posenrekonstruktion mehr als eine Sichtlinie verschafft und deutlich bessere Chancen auf präzise 3D-Keypoints gibt. Welcher Fehler diese Stufe übersteht, erbt jede spätere Stufe.
Stufe zwei: für den Körper des Roboters lösen
Nun werden die rekonstruierten menschlichen Keypoints zu einem Ziel, das der Roboter treffen muss, und hier kommt die inverse Kinematik ins Spiel. Die IK löst nach den Gelenkwinkeln auf, die den Endeffektor des Roboters, seinen Greifer oder seine Hand, dorthin bringen, wo die Demonstration es vorgibt. In der Praxis wählt Retargeting aus, was es abgleicht, denn es kann meist nicht alles zugleich abgleichen.
Zwei Strategien dominieren. Endeffektor-Retargeting verfolgt, wohin Handgelenk und Greifer wandern, und löst die IK, um diesem Pfad zu folgen, wobei die Hand als eine einzige funktionale Einheit behandelt wird. Keypoint-Retargeting geht feiner vor: Es minimiert den Abstand zwischen den Fingerspitzen-Vektoren des Menschen und denen des Roboters, sodass ein Präzisionsgriff auch auf einer Hand mit weniger Fingern ein Präzisionsgriff bleibt. Methoden für geschickte Hände in der cs.RO-Literatur stützen sich auf diese Idee des Vektorabgleichs, um mehrfingrige Hände anhand von menschlichem Videomaterial zu steuern.
Die subtilere Hälfte ist der Griff- und Kontaktabgleich. Worum es einer Demonstration eigentlich geht, ist die Wirkung auf das Objekt, nicht die Form der Hand, die sie verursacht hat. Funktionales Retargeting versucht, diese Wirkung zu bewahren: einen stabilen Griff mit derselben Annäherung und derselben Kontaktgeometrie zu reproduzieren, selbst wenn der Roboter ihn mit zwei Kontaktflächen erreicht, wo der Mensch fünf Finger benutzt hat. Wird das Ergebnis am Objekt abgeglichen statt der Silhouette der Hand, überleben mehr Demonstrationen.
Wo Retargeting leckt
Drei Diskrepanzen erzwingen die härtesten Kompromisse, und jede einzelne kostet Demonstrationen.
Anzahl der Finger. Eine fünffingrige Hand auf drei Finger oder zwei Kontaktflächen abzubilden, ist eine Abbildung von vielen auf wenige. Ein Tripod-Griff hat auf drei Fingern ein plausibles Abbild und auf zwei Fingern ein grobes. Ein Umgreifen in der Hand, bei dem die Finger ein Objekt schrittweise in eine neue Pose bringen, hat auf einem Parallelgreifer überhaupt kein Abbild. Diese Strategien lassen sich nicht retargeten, sie fallen einfach weg.
Arbeitsraum. Der Arm des Roboters hat seine eigene Reichweite, seine eigenen Gelenkgrenzen, seine eigenen Selbstkollisionen. Eine menschliche Reichbewegung, die hinter ein Regal schwingt, hat auf dem Roboter womöglich keine gültige IK-Lösung, sodass der Pfad skaliert, verzerrt oder verworfen werden muss. Eine Neuskalierung des Arbeitsraums bewahrt die Form einer Bewegung, während sie in den erreichbaren Raum verschoben wird, auf Kosten der Genauigkeit.
Geschwindigkeit und Dynamik. Menschen bewegen sich schneller, als die meisten Roboter es zulassen, und schnippen mit dem Handgelenk auf eine Weise, die ein schwererer Arm nicht nachvollziehen kann. Eine Demonstration, die die Geschwindigkeits- oder Drehmomentgrenzen des Roboters überschreitet, muss verlangsamt oder geglättet werden, was eine Aufgabe, deren Erfolg vom Schwung abhing, unbemerkt verändern kann.
| Signal in der Demonstration | Schicksal beim Retargeting | Was darüber entscheidet |
|---|---|---|
| Objektidentität und Annäherungsrichtung | Überträgt sich sauber | Körperübergreifend geteilt; es ist Absicht, keine Bewegung |
| Pfad von Handgelenk und Endeffektor | Retargetet mit Neuskalierung | IK plus Abbildung von Arbeitsraum und Gelenkgrenzen |
| Grifftyp und Kontaktpunkte | Retargetet, manchmal näherungsweise | Griffabgleich; verschlechtert sich mit wegfallenden Fingern |
| Timing und Dynamik | Retargetet, oft verändert | Geschwindigkeits- und Drehmomentgrenzen des Roboters |
| Kontaktkräfte und Griffdruck | Geht meist verloren | Wird in einfachem Video selten erfasst; lässt sich nicht rekonstruieren |
| In-Hand-Manipulation und Fingergangarten | Geht meist verloren | Kein kinematisches Äquivalent auf einem Greifer mit wenigen Freiheitsgraden |
Retargeting kann eine Geometrie, die ihm vorliegt, neu lösen, aber es kann kein Signal zurückgewinnen, das nie erfasst wurde. Ein Griff lässt sich aus Fingerspitzenpositionen rekonstruieren. Die drei Newton, die das Glas vor dem Abrutschen bewahrt haben, sind, wenn kein Sensor sie gespürt hat, schlicht verschwunden.
Erfassungsqualität setzt die Obergrenze
Das ist die Schlussfolgerung, die die Pipeline erzwingt. Die Retargeting-Treue begrenzt, wie nützlich billiges menschliches Videomaterial ist, und die Erfassungstreue begrenzt das Retargeting. Man kann keine Kontaktkraft neu abbilden, die man nicht gemessen hat, und keine präzise IK gegen eine schlecht geschätzte 3D-Handpose lösen. Die verlustreichsten Pipelines sind jene, die mit den dünnsten Daten gefüttert werden: monokulares RGB, keine Tiefe, keine Kraft, Pose geraten und Kontakt abgeleitet.
Die Lösung besteht darin, das Signal stromaufwärts zu verlagern, an den Zeitpunkt der Erfassung, wo es günstig aufzuzeichnen und später unmöglich zu rekonstruieren ist. Multi-View-Rigs legen die 3D-Hand- und Objektpose fest, sodass die erste Stufe nicht mehr rät. Tiefen- und Handgelenkkameras verengen die Geometrie, gegen die die IK lösen muss. Taktile Sensorik und Kraftsensorik verwandeln den Griffdruck von einem verlorenen Kanal in einen retargetbaren. Das ist die Logik hinter der gepaarten Mensch-Roboter-Erfassung in Datensätzen wie DROID, die dem Retargeting-Schritt eine überwachte Brücke geben, statt einer Vermutung im offenen Regelkreis. Der Isaac GR00T-Stack von NVIDIA und Gruppen wie Physical Intelligence setzen auf menschliche Demonstration gerade deshalb, weil sie skaliert, doch dieser Hebel zahlt sich nur in dem Maß aus, in dem die Demonstration reichhaltig genug erfasst wurde, um mit geringem Verlust retargetet zu werden.
Retargeting ist also keine Vorverarbeitungs-Fußnote zwischen Video und Policy, der vom Roboter erlernten Strategie. Es ist das Ventil zwischen der billigsten Datenquelle der Robotik und einer Aktion, die ein Roboter tatsächlich ausführen kann, und wie weit sich dieses Ventil öffnet, wird lange bevor der Solver läuft entschieden, und zwar durch das, was die Kamera und die Sensoren an der Hand einfangen konnten. Erfassen Sie dünn, retargeten Sie eine Vermutung. Erfassen Sie reichhaltig, übersteht die menschliche Demonstration die Reise in einen Körper, der nie dafür gebaut wurde, sie auszuführen.