Teleoperation vs. menschliches Video: zwei Wege zu Roboterdaten
Teleoperation liefert perfekt ausgerichtete Roboter-Demonstrationen zu brutalen Kosten; menschliches Video liefert günstige Skalierung, die erst per Retargeting nutzbar gemacht werden muss. Die Kompromisse im direkten Vergleich.
Nehmen Sie beide unter die Stoppuhr. Ein geübter Operator in einem VR-Rig schafft es vielleicht, in einer Stunde ein paar Dutzend Wiederholungen aufzuzeichnen, wie ein Roboter ein Handtuch faltet, und jede Wiederholung verbraucht einen Roboter, einen Operator und einen kontrollierten Arbeitsbereich. In derselben Stunde erfasst eine kopfgetragene Kamera bei einem Koch in einer Restaurantküche Hunderte von Griffen, Güssen und Wischbewegungen, für den Preis einer Speicherkarte. Der eine Datenstrom ist knapp und exakt für das Training geformt. Der andere ist nahezu kostenlos und leicht daneben. Genau in dieser Diskrepanz steckt die ganze Geschichte.
Beide sind Antworten auf denselben Hunger. Imitation Learning braucht Demonstrationen, und die physische Welt gibt fast nichts davon umsonst her, weshalb sich zwei Zulieferwege herausgebildet haben, um diesen Bedarf zu decken. Teleoperation bindet einen Menschen in die Schleife des Roboters selbst ein, über Leader-Follower-Arme, VR-Controller oder ein Exoskelett, und zeichnet die Sensoren und Befehle des Roboters selbst auf, während der Mensch ihn steuert. Lernen aus menschlichem Video verzichtet ganz auf den Roboter, zeichnet Menschen bei alltäglichen Aufgaben aus der Ich-Perspektive auf und versucht anschließend, dieses Material in etwas zu verwandeln, aus dem eine Policy lernen kann.
Der ehrliche Unterschied zwischen beiden ist nicht „Qualität" im Abstrakten. Er liegt darin, woher das Aktionslabel stammt und wer dafür bezahlt, es mit dem Roboter in Einklang zu bringen. Teleoperation kauft diese Ausrichtung im Voraus, zu brutalen Stückkosten. Menschliches Video kauft Skalierung im Voraus und verschiebt die Rechnung für die Ausrichtung auf den Algorithmus. Dies ist ein Blick darauf, welche Rechnung Sie lieber begleichen würden, und warum die besten Roboterprogramme sich in aller Stille weigern, sich zu entscheiden.
Wo das Aktionslabel entsteht
Beginnen wir mit der einen Tatsache, an der alles andere hängt. Bei der Teleoperation ist der Roboter der Agent, sodass jedes Bild mit genau den Gelenkbefehlen und dem Greiferzustand gepaart eintrifft, die das nächste Bild erzeugt haben, im eigenen Aktionsraum des Roboters. Überwachtes Imitation Learning aufzusetzen ist damit fast trivial: die aufgezeichnete Aktion vorhersagen. Menschliches Video liefert das Gegenteil. Sie sehen Absicht und Ergebnis in reichem Detail, aber die „Aktion" ist eine menschliche Hand mit mehr als zwanzig Freiheitsgraden, die sich unter Kontaktkräften bewegt, die niemand gemessen hat. Um es zu nutzen, müssen Sie eine Aktion rekonstruieren, die der Roboter tatsächlich ausführen kann: die Handpose schätzen, sie auf einen Greifer retargieren und den Kontakt ableiten, den Sie nie erfasst haben. In der Robotik nennt man das Korrespondenzproblem. Teleoperation löst es konstruktionsbedingt. Menschliches Video macht es zu Ihrem Problem, und jeder Kompromiss weiter unten ergibt sich daraus.
Die Bilanz der Teleoperation
Was Teleoperation liefert, ist das sauberste Signal im Robot Learning: Daten, die von genau der Maschine stammen, die später eingesetzt wird, mit Propriozeption, zeitlich zugeordneten Aktionslabels und häufig Kraft-Moment- und taktilen Kanälen, die passives Video niemals liefern kann. DROID sammelte in der Größenordnung von 76.000 teleoperierten Trajektorien, rund 350 Stunden, über Hunderte von Szenen und viele Institutionen hinweg, und gilt als Referenzpunkt dafür, wie skalierte Teleoperation aussieht. RH20T stößt in den kontaktreichen Bereich vor, mit mehr als 100.000 Sequenzen, die neben Bilddaten auch Kraft-Moment-Signale und Audio führen. Und weil sich kein einzelnes Labor leisten kann, bei null anzufangen, bündelt Open X-Embodiment teleoperierte Daten aus mehr als zwanzig Robotertypen zu einem Korpus in der Größenordnung von einer Million Trajektorien.
- Aktionslabels im eigenen Raum des Roboters, Bild für Bild ausgerichtet
- Propriozeption sowie, bei umfangreicheren Rigs, Kraft-Moment- und taktile Signale
- Ein Timing, das dem Regelkreis entspricht, nicht der wandernden Kamera eines Betrachters
Die Rechnung wird beim Durchsatz fällig. Ein Operator steuert eine Stunde lang einen Roboter und erzeugt eine Roboterstunde an Daten, es gibt keinen Multiplikator. Hardware nutzt sich ab, Arbeitsbereiche müssen beaufsichtigt werden, und die Szenen sind das, was ins Labor passt, weshalb genau der Long Tail der realen Variation der Teil ist, den Teleoperation am schlechtesten abdeckt. Es sind die hochwertigsten Demonstrationsdaten in diesem Bereich, und zugleich die am schwersten skalierbaren.
Die Bilanz des menschlichen Videos
Menschliches Video gewinnt auf den beiden Achsen, auf denen Teleoperation nicht mithalten kann: Skalierung und Vielfalt. Ego4D sammelte rund 3.600 Stunden Video aus der Ich-Perspektive von Alltagsaktivitäten, über viele Länder und Umgebungen hinweg. Ego-Exo4D ging weiter und erfasste geübte menschliche Tätigkeiten mit gepaarten Kameras in Ich- und Fremdperspektive, samt Expertenkommentaren und Fertigkeits-Annotationen, weit über tausend Stunden davon, eigens dafür konzipiert, dass Maschinen studieren können, wie Menschen Dinge gut machen. Das ist ein Ozean neben dem Eimer der Teleoperation, und er wächst zum Preis von Kameras.
Der Haken ist alles, was Teleoperation umsonst mitbrachte. Es gibt keinen Roboter, also auch keine nativen Aktionslabels, keine Krafterfassung, eine bestehende Morphologielücke zwischen einer fünffingrigen Hand und einem Parallelbacken-Greifer, und einen Blickwinkel, der mit einem menschlichen Kopf driftet statt mit einem kontrollierten Handgelenk. Menschliches Video findet daher meist über die Seitentür Eingang ins Training: als Pretraining für Vision-Language-Repräsentationen, Affordances und World-Model-Priors, und zunehmend als retargierte Pseudo-Aktionen, die aus der Handpose gewonnen werden. Die Arbeit von NVIDIAs GEAR-Labor zum Lernen aus menschlichem Video und zur Synthese neuronaler Trajektorien ist hier eine aktive Forschungslinie. Die Wette lautet, dass ein Berg billiger Daten mit falscher Verkörperung zusammen mit etwas Daten mit passender Verkörperung besser abschneidet als jedes für sich allein.
Teleoperation bezahlt für Ausrichtung und rationiert Skalierung. Menschliches Video bezahlt für Skalierung und schuldet Ihnen noch immer die Ausrichtung. Keiner der beiden Wege ist umsonst, sie schicken die Rechnung nur an unterschiedliche Adressen.
Zwei Bilanzen im Vergleich
| Dimension | Teleoperation | Menschliches Video |
|---|---|---|
| Wer handelt | Der Roboter, gesteuert von einem Menschen | Ein Mensch, kein Roboter anwesend |
| Aktionslabels | Nativ, im Raum des Roboters | Fehlen; müssen rekonstruiert werden |
| Verkörperungs-Übereinstimmung | Exakt | Zu überbrückende Morphologielücke |
| Kraft und Propriozeption | Meist erfasst | Nicht erfasst |
| Kosten pro nutzbarer Stunde | Hoch; eine Roboterstunde pro Operatorstunde | Niedrig; nur Kamerazeit |
| Skalierung und Vielfalt | Eng begrenzt, ans Labor gebunden | Breit, im realen Umfeld |
| Heutige Hauptrolle | Fine-Tuning- und Einsatzdaten | Pretraining und Priors |
| Größtes Risiko | Skaliert nicht bis in den Long Tail | Korrespondenz- und Retargeting-Fehler |
Lesen Sie es als zwei Rechnungen, nicht als Rangliste. Jeder Weg kauft eine Sache günstig, indem er für die andere teuer bezahlt.
Die Wege nähern sich an
Die interessanteste Ingenieursarbeit findet inzwischen zwischen den beiden Wegen statt. Handgehaltene Greifer-Rigs, ein echter Parallelbacken-Greifer, den ein Mensch in der Hand hält, mit einer Handgelenkkamera, lassen eine Person „menschliches Video" aufzeichnen, das bereits im Aktionsraum des Roboters vorliegt, wodurch ein Großteil des Korrespondenzproblems entfällt, während die Erfassung mit menschlicher Geschwindigkeit und im realen Umfeld erhalten bleibt. Exoskelett- und marionettenartige Aufbauten jagen demselben Trick von der anderen Seite hinterher. Unterdessen hat sich im gesamten Feld ein Standardrezept als Abfolge etabliert: erst Pretraining auf menschlichem Video für Wahrnehmung und Priors, dann Fine-Tuning auf Teleoperation, um die exakte Verkörperung festzuschreiben. Cross-Embodiment-Pooling, der Instinkt hinter Open X-Embodiment, setzt auf beidem auf. Die eigentliche Frage lautet nicht mehr „welcher Weg", sondern „welche Mischung, und wo Sie Ihre knappen Teleoperations-Stunden einsetzen."
Fragen Sie also nicht, welche Daten besser sind. Fragen Sie, woran es Ihnen fehlt. Fehlt es an Ausrichtung, teleoperieren Sie und bezahlen in Operatorstunden. Fehlt es an Skalierung, filmen Sie Menschen und bezahlen im Retargeting. Den meisten Teams fehlt es an beidem, weshalb sich die schärfste Arbeit zum Wechselkurs zwischen den beiden Wegen verlagert hat, und weshalb der Mangel an Demonstrationen jeden bisher veröffentlichten Datensatz überdauern wird.