Warum egozentrisches Menschenvideo zu den günstigsten Roboterdaten zählt
Egozentrisches Video nimmt den Roboter aus der Erfassungsschleife, deshalb sind die Stunden günstig. Warum es skaliert, und der Haken der Embodiment-Lücke, der es ehrlich hält.
DROID, einer der meistzitierten Datensätze zur Robotermanipulation der vergangenen Jahre, kostete dreizehn Institutionen auf drei Kontinenten den Großteil eines Jahres, um ihn zusammenzustellen. Das Ergebnis waren rund 350 Stunden teleoperierter Trajektorien, jede einzelne auf einem echten Roboterarm aufgezeichnet, mit einem Menschen an der Steuerung. Ego4D, ein Datensatz von Menschen, die kopfmontierte Kameras durch ganz gewöhnliche Tage tragen, umfasst rund 3.670 Stunden, überwiegend erfasst, indem man Freiwilligen Kameras in die Hand gab und sie bat, ihrem Alltag nachzugehen. Eine dieser Zahlen ist zehnmal so groß wie die andere, und es ist nicht diejenige, die einen Roboter erforderte.
Dieser Kontrast ist das gesamte Argument für egozentrisches Menschenvideo als Roboter-Trainingsdaten, und es ist ein starkes. Die mit Abstand teuerste Zutat einer Roboterdemonstration ist der Roboter. Nimmt man ihn aus der Erfassungsschleife, zeichnet man eine Person auf, die die Aufgabe aus ihrer eigenen Perspektive ausführt, und die Ökonomie verschiebt sich von der einer Roboterflotte hin zu der von Consumer-Video. Sie zahlen nicht mehr für Arme, Zellen, Sicherheitskäfige und die Einsatzzeit von Operatoren, sondern beginnen, für Kameras und Speicher zu zahlen.
Doch derselbe Schritt, der die Daten günstig macht, bringt den Haken mit sich, der die Idee ehrlich hält. Dieser Beitrag handelt von beiden Hälften: warum Menschenvideo aus der Ich-Perspektive zu den günstigsten Daten gehört, auf die Sie eine Manipulations-Policy ansetzen können, und warum „günstig pro Stunde“ die falsche Maßeinheit ist, wenn Sie hier aufhören zu lesen.
Der Roboter ist der teure Teil
Teleoperation ist nach wie vor der Goldstandard für Roboterdaten, weil die Annotationen ehrlich sind: Ein Mensch steuert die tatsächliche Maschine, sodass jedes Bild mit genau den Gelenkbefehlen eintrifft, die die Policy vorhersagen muss. Das Problem ist der Durchsatz. Jede Trajektorie belegt einen Roboter, einen Operator und eine Zelle für die Dauer der Aufgabe, zuzüglich der Reset-Zeit zwischen den Aufnahmen. Kontaktreiche Datensätze treiben die Kosten weiter in die Höhe. RH20T sammelt in der Größenordnung von 110.000 Manipulationssequenzen mit synchronisierten Kraft-Moment-, Audio- und Multi-View-Daten, und jede einzelne dieser Sequenzen lief auf echter Hardware, die gekauft, montiert, kalibriert und zurückgesetzt werden musste.
Das Bündeln hilft, ändert aber die Stückkosten nicht. Open X-Embodiment hat mehr als eine Million echter Robotertrajektorien aus über zwanzig Institutionen und zweiundzwanzig Robotertypen zusammengefügt, und es bleibt einer der wertvollsten Bestände des Feldes, gerade weil so viele echte Roboterdaten so schwer zu erzeugen sind. Was Investoren mitunter übersehen: Diese Knappheit ist struktureller Natur. Robotertrajektorien liegen nicht im Internet herum und warten darauf, abgegriffen zu werden. Jede einzelne muss auf einer Maschine in Echtzeit erzeugt werden.
Egozentrisches Video skaliert wie Consumer-Video
Nun nehmen Sie den Roboter weg. Ein Mensch besitzt bereits die besten Manipulatoren auf dem Markt, zwei Hände mit taktilem Feedback und jahrzehntelangem Training, und er faltet bereitwillig Wäsche, schneidet Gemüse oder verdrahtet einen Stecker, während er eine Kamera trägt. Erfassen Sie die Welt aus seinen Augen und seinen Handgelenken, und Sie erhalten genau das kontaktreiche Material aus der Ich-Perspektive, das eine Roboter-Policy braucht, ohne einen einzigen Roboter zu besitzen.
Die Skalierung, die daraus folgt, ist ein anderes Regime. Ego4D erreichte rund 3.670 Stunden von mehr als 900 Teilnehmern aus neun Ländern. Ego-Exo4D fügte rund 1.300 Stunden gepaarter Aufnahmen aus Ich- und Außenperspektive von fachkundigen Tätigkeiten hinzu, erfasst von Hunderten Teilnehmern in mehr als einem Dutzend Städten. Keine der beiden Zahlen ist durch eine Roboterflotte begrenzt. Sie ist dadurch begrenzt, wie vielen Menschen Sie ein Rig in die Hand geben können, und das ist ein Logistikproblem, kein Problem der Hardwarefertigung. Verdoppeln Sie die Kameras, und Sie verdoppeln in etwa die Daten. Versuchen Sie das mit Teleoperation, und Sie kaufen Arme.
Was jede Datenquelle tatsächlich kostet
Der Listenpreis pro Stunde ist nur die halbe Wahrheit. Die andere Hälfte ist, wie viel nutzbares Trainingssignal eine Stunde tatsächlich trägt. Die Tabelle unten stellt die wichtigsten Quellen von Manipulationsdaten dem gegenüber, was ihre Kosten treibt und was sie auslassen.
| Quelle | Was ihre Skalierung kostet | Harter Engpass | Was einer Policy fehlt |
|---|---|---|---|
| Teleoperation echter Roboter (DROID, RH20T) | Eine Roboterstunde pro Datenstunde, plus Operatoren | Größe der Roboterflotte | Wenig; die Annotationen sind nativ und ehrlich |
| Passives egozentrisches Video (Ego4D) | Kameras und Speicher; kein Roboter | Bereitwillige Träger und Einwilligung | Aktionsannotationen, Tiefe, Kraft, Propriozeption im Roboterkoordinatensystem |
| Instrumentierte egozentrische Erfassung (im Stil von Ego-Exo4D) | Kamera-Rig plus Tiefe, Handpose, manchmal Kraft | Rig-Kosten und Teilnehmerzeit | Robotermorphologie und native Aktionsannotationen |
| Simulation | Engineering-Zeit; günstig zu replizieren | Sim-to-Real-Lücke | Reale Kontaktdynamik und die unordentliche Vielfalt der realen Welt |
Der Haken: günstige Stunden, teure Annotationen
Lesen Sie die rechte Spalte dieser Tabelle, und der Rabatt meldet sich von selbst. Eine Manipulations-Policy regressiert im Kern eine Aktion: Gegeben diese Ansicht und diese Anweisung, gib den nächsten Motorbefehl aus. Teleoperation zeichnet diesen Befehl direkt auf. Passives egozentrisches Video zeichnet ihn überhaupt nicht auf. Was Sie gefilmt haben, ist eine sich bewegende Hand, nicht das Drehmoment, das sie bewegt hat, und keine noch so hohe Auflösung stellt ein Signal wieder her, das nie erfasst wurde.
Drei Lücken liegen zwischen günstigem Material und einer trainierten Policy. Erstens die Embodiment-Lücke: Eine fünffingrige Menschenhand ist kein Zweifinger-Greifer, und das Retargeting der einen auf den anderen ist verlustbehaftet, und zwar genau dort, wo es am meisten zählt, im Moment des Kontakts. Zweitens die Annotationslücke: Hand- und Fingerpose müssen aus Pixeln geschätzt und dann in etwas umgewandelt werden, das ein Roboter ausführen kann, und jeder Schätzer fügt Fehler hinzu. Drittens die Modalitätslücke: Beiläufiges Video aus der Ich-Perspektive trägt keine Tiefe, kein Kraft-Moment, keine taktile Spur, genau jene Kanäle, die einen festen Griff von einem zerdrückten Ei unterscheiden.
Egozentrisches Video ist günstig pro Stunde und teuer pro Annotation. Nehmen Sie den Roboter aus der Erfassung, und er kehrt als Sternchen an jeder Trajektorie zurück: die fehlende Aktion, die falsche Hand, die Kraft, die niemand gemessen hat.
Der ehrliche Weg, diese Daten zu bepreisen, ist demnach nicht Dollar pro Stunde, sondern Dollar pro Einheit übertragbaren Signals, und an diesem Maßstab gemessen ist egozentrisches Video günstig, nicht kostenlos. Die Lücke zwischen den beiden Preisen ist echte Arbeit: Posenschätzung, Retargeting, Kalibrierung und Qualitätskontrolle. Die Rechnung verschwindet nicht. Sie wandert von der Laderampe zum Forschungsteam.
Wie das Feld die Lücke schließt
Die produktive Antwort ist nicht, sich für eine Seite zu entscheiden, sondern die Quellen zu kombinieren. Das vorherrschende Rezept kombiniert eine große Basis günstigen Menschenvideos mit einem viel kleineren Anker aus Teleoperation echter Roboter und lässt das Modell dann lernen, was sich übertragen lässt. NVIDIA Isaac GR00T behandelt egozentrisches Menschenvideo als eine Säule seiner Datenmischung, neben Simulation und einer vergleichsweise kleinen Menge an Demonstrationen echter Roboter, und nutzt gelernte latente Aktionen, um annotationsfreies Video nutzbar zu machen. Cross-Embodiment-Training, die Idee hinter Open X-Embodiment, tut etwas Ähnliches über Robotertypen hinweg: alles bündeln, gemeinsame Struktur entstehen lassen und aufhören, jede Morphologie als eigene Insel zu behandeln.
Zwei Engineering-Schritte sorgen dafür, dass die menschliche Hälfte ihren Beitrag leistet. Retargeting bildet geschätzte menschliche Handtrajektorien auf die Kinematik des Roboters ab, sodass die günstigen Daten die Sprache des Roboters sprechen. Co-Training hält eine kleine, ehrliche Menge an On-Robot-Trajektorien im Loss, um die Policy an echte Aktionsannotationen und echte Dynamik zu verankern. Gruppen bei Physical Intelligence und die offene LeRobot-Community konvergieren auf Varianten dieses Musters, weshalb sich die interessante Frage still verschoben hat. Sie lautet nicht mehr, ob Menschenvideo hilft. Sie lautet, wie günstig Sie es mit den zusätzlichen Kanälen erfassen können, die es lohnenswert machen, darauf zu trainieren.
Egozentrisches Menschenvideo gehört also tatsächlich zu den günstigsten Roboterdaten, doch „günstig“ ist eine Aussage über die Laderampe, nicht über die gesamte Pipeline. Die Stunden sind günstig, weil kein Roboter in der Schleife ist. Die trainierte Policy ist nicht kostenlos, denn der Roboter, den Sie entfernt haben, kehrt als Engineering zurück: Posenschätzung, Retargeting und ein kleiner Anker echter Trajektorien, der das Modell ehrlich hält. Lesen Sie nur die erste Zahl, und Sie zahlen bei der zweiten drauf. Richtig bepreist, ist Video aus der Ich-Perspektive keine Abkürzung um Roboterdaten herum. Es ist der günstigste Weg, den Großteil davon zu kaufen, sofern Sie Budget für den Teil einplanen, den die Kamera nie gesehen hat.