Roboter aus Internetvideos trainieren: Potenzial und Grenzen
Das Internet enthält Milliarden Stunden an Videomaterial von Menschen bei der Arbeit. Was Webvideo einem Roboter wirklich beibringt, wo es dabei an eine Mauer stößt, und welche Daten noch erfasst werden müssen.
Jede Minute wächst das Internet um Tausende Stunden frisches Videomaterial, und das ist nur eine Schätzung für einen einzigen Ausschnitt davon. Irgendwo in diesem Berg filmt sich in genau diesem Moment jemand dabei, wie er eine Zwiebel schneidet, einen Reifen wechselt, ein Spannbetttuch faltet oder mit einem Geschirrtuch einen klemmenden Schraubdeckel löst. Milliarden Stunden liegen bereits dort: ein fortlaufendes Protokoll menschlicher Hände bei so gut wie jeder Aufgabe, die ein Haushaltsroboter jemals ausführen soll. Wer einen Roboter trainieren will, dem erscheint das wie der Jackpot, das Korpus im Maßstab von Text, das es für Manipulation nie gegeben hat.
Die Anziehungskraft dieses Korpus beruht im Grunde auf einer Analogie zur Sprache. Große Sprachmodelle wurden gut, weil die Menschheit das Internet bereits geschrieben hatte, und jede Seite war ein kostenloses Trainingsbeispiel, das aus einem völlig anderen Grund entstanden war. Die Roboter-Manipulation kam ohne dieses Erbe zur Welt: Niemand verkabelt seine Küche, während er kocht. Webvideo wirkt wie der nächstbeste Ersatz, den man finden kann. Man trainiert auf dem gesamten brodelnden Wust vor, so die Überlegung, und eine Policy tritt an, nachdem sie ein ganzes Menschenleben lang zugesehen hat, wie Menschen mit der physischen Welt umgehen.
Es funktioniert zur Hälfte, und diese Hälfte zählt. Webvideo ist einer der reichhaltigsten Priors in der Robotik, und jedes ernstzunehmende Humanoid-Programm stützt sich heute darauf. Doch mitten durch den Jackpot verläuft eine Mauer, und es ist keine Mauer der Menge. Einem Videoclip von einer Hand bei einer Aufgabe fehlt genau das eine, was ein Roboter am dringendsten kopieren muss: was die Hand tatsächlich getan hat. Dieser Beitrag handelt davon, was das Internet einem Roboter kostenlos gibt, und von der Zutat, die keine noch so große Menge an Scraping je enthalten wird.
Der Free Lunch ist real
Beginnen wir mit der guten Nachricht, denn sie hat Substanz. Ein Modell, das auf Internetvideos vortrainiert wurde, lernt Dinge, die sich auf keinem anderen Weg wirklich leicht erschließen lassen.
Visuelle Priors und Objekt-Priors. Nach ausreichend Filmmaterial weiß ein Netzwerk, wie eine Schublade, ein Flaschendeckel, ein Reißverschluss oder ein Schneebesen aus jedem Blickwinkel und unter jedem Licht aussehen. Es trägt ein inneres Bild der Objekte in sich, denen ein Roboter begegnen wird, noch bevor er ihnen tatsächlich begegnet.
Semantische Priors und Aktivitäts-Priors. Das Internet hat dem Modell Zehntausende Male gezeigt, wie gegossen, gefaltet und gewischt wird, dazu die Reihenfolge der Schritte und wie eine abgeschlossene Aufgabe aussieht. Das ist eine Landkarte menschlicher Aktivität, die eine Policy aus ein paar Hundert Labordemonstrationen niemals aufbauen könnte.
Grobe Dynamik. Wasser fällt, ein fallengelassener Ball springt, eine weiche Tasche sackt in sich zusammen, eine starre Kiste tut das nicht. In großem Maßstab betrachtet werden diese Regelmäßigkeiten zu einem physikähnlichen Prior, genau dem Rohmaterial, aus dem die Weltmodelle gebaut sind, die heute im Zentrum des Feldes stehen. NVIDIAs GEAR Lab stützt sich auf menschliches und Internetvideo sowie synthetische Trajektorien, um in seinem Isaac GR00T-Stack humanoide Fähigkeiten aufzubauen, und zwar genau deshalb, um diese Priors zu sichern, bevor auch nur eine einzige Roboterdemonstration verbraucht wird.
Menschliche Affordanzen. Wie Menschen tatsächlich einen Becher am Henkel greifen, eine Kiste gegen die Hüfte stemmen, ein Schneidebrett mit der freien Hand fixieren. Diese Gewohnheiten sind in Webvideos dicht vertreten und sonst so gut wie überall dünn gesät.
Die Mauer: Das Internet zeigt das Ergebnis, nicht die Handlung
Nun zum Defizit, und es ist struktureller Natur, nicht durch mehr Stunden zu beheben. Webvideo ist beobachtend. Es zeichnet auf, wie eine Szene aussah, niemals, was die Person ihrem Körper befohlen hat zu tun. Vier Dinge fehlen, und ein Roboter braucht alle vier.
Das Aktionslabel fehlt. Ein Regler lernt, indem er auf ein Ziel regressiert: gegeben diese Beobachtung, gib jene Bewegung aus. Webvideo liefert die Beobachtung und verweigert das Ziel. Die Gelenktrajektorie, das Schließen der Finger, das an eine Regelschleife gekoppelte Timing, nichts davon wurde aufgezeichnet, denn die Kamera war auf das Ergebnis gerichtet, nicht mit dem Ausführenden verkabelt.
Kraft und Propriozeption fehlen. Die drei Newton Griffkraft, die das Glas am Rutschen hinderten, das Gewicht eines vollen Wasserkochers, der Moment, in dem der Kontakt beginnt, die taktile Rückmeldung von den Fingerspitzen, all das ist für ein Objektiv unsichtbar. Man kann aus Pixeln keine Größe ableiten, die die Pixel nie kodiert haben.
Auch die Hände selbst sind nur eine Vermutung. Man kann eine Handpose aus Video schätzen, doch es bleibt eine Schätzung: verrauscht, mehrdeutig im Maßstab und genau dann verdeckt, wenn es am meisten zählt, in den letzten Zentimetern, in denen die Finger das Objekt umschließen.
Dann das Problem, das spezifisch für das Internet ist, im Unterschied zu gezielt erfasstem menschlichem Video. Die Perspektive ist falsch und instabil. Der Großteil des Webmaterials ist aus der Außenperspektive aufgenommen, gefilmt von einem Umstehenden oder einem Stativ, danach geschnitten, gekürzt, gezoomt und farbkorrigiert, mit einer Kamera, deren Position und Intrinsics man nicht kennt und die zwischen Einstellungen springt, aus Gründen, die nichts mit der Aufgabe zu tun haben. Ein Roboter nimmt die Welt über Kameras wahr, die an seinem eigenen Kopf und seinen Handgelenken befestigt sind. Das Internet zeigt diese Sicht so gut wie nie. So kommen selbst die Pixel vom falschen Ort, in einem Rhythmus, den ein Cutter vorgibt, nicht die eigentliche Arbeit.
Das Internet zeichnet auf, wie eine Aufgabe von der anderen Seite des Raums aussah. Ein Roboter muss reproduzieren, was die Hände mitten in der Arbeit getan haben. Das ist nicht dasselbe Filmmaterial, und die Lücke dazwischen ist das ganze Problem.
Was das Korpus gibt, und was es vorenthält
| Priors, die Webvideo kostenlos liefert | Was Webvideo nicht enthalten kann | Was gezielte Erfassung liefern muss |
|---|---|---|
| Objekt- und Szenenerscheinung | Die Handlung, die die Bewegung verursacht hat | Bildgenau ausgerichtete Aktionslabels im Koordinatenraum des Roboters |
| Aktivitätssemantik und Schrittfolge | Kontaktkraft und Drehmoment | Kraft und Drehmoment an den Fingerspitzen |
| Grobe Objekt- und Fluiddynamik | Propriozeption und Gelenkzustand | Synchronisierte Propriozeption |
| Menschliche Griffe und Affordanzen | Eine stabile, roboterrelevante Perspektive | Ich-Perspektiven von Kopf und Handgelenk |
| Aufgaben- und Sprach-Grounding | Ground-Truth-Hand- und Fingerpose | Gemessene Hand- und Fingerpose |
Liest man die drei Spalten als einen Satz: Das Internet spendiert die linke Spalte, kann die mittlere niemals liefern, und die rechte Spalte ist die Rechnung, die jemand bewusst begleichen muss.
Das Playbook, auf das sich alle geeinigt haben
Angesichts dieser Spaltung hat sich das Feld mit bemerkenswerter Geschwindigkeit auf ein Rezept geeinigt: breit vortrainieren, dann eng ausrichten. Man saugt den Ozean an Webvideo für den visuellen, semantischen und dynamischen Prior auf und finetunet anschließend an einem kleinen, präzise erfassten Satz von Demonstrationen, der die Aktion, die Kraft und die Perspektive liefert, die das Video nicht liefern konnte. Die Web-Hälfte ist nahezu kostenlos und wird jedes Quartal billiger. Die Alignment-Hälfte ist knapp, teuer und entscheidend.
Die stärksten Systeme fahren alle irgendeine Version davon. GR00T bootstrapt auf menschlichem Video und synthetischer Bewegung und verankert dies anschließend an echten Roboterdaten. Physical Intelligence trainiert Cross-Embodiment-Policies auf einer breiten Basis und richtet sie mit gezielten Demonstrationen auf konkrete Hardware aus. Google DeepMind faltet einen videotrainierten Prior in Gemini Robotics ein und finetunet für die Steuerung. Das Web-Korpus ist für alle dieselbe Handelsware; was sich unterscheidet, ist die Qualität des kleinen Alignment-Datensatzes, den jeder ins Feld führen kann.
Warum der kleine Datensatz alles entscheidet
Hier kommt der kontraintuitive Teil. Die knappe, tragende Zutat ist nicht das Webvideo. Das ist reichlich vorhanden, billig und steht jedem mit einer Netzwerkverbindung zur Verfügung. Die knappe Zutat ist die Alignment-Demonstration: multimodal, aus der Ich-Perspektive, mit Aktionslabels, mit Kraftannotationen, nach einem Protokoll aufgezeichnet. Diese Daten lassen sich nicht scrapen, und sie fallen nicht einfach aus dem Internet, denn kaum jemand trug das Rig, während er die Aufgabe ausführte.
Und es ist der Alignment-Datensatz, nicht das Web-Pretraining, der die Obergrenze festlegt. Weitere zehntausend Stunden an Umgebungsmaterial verschieben den Prior nur ein wenig. Ein sauberer, reichhaltigerer Alignment-Datensatz, einer, der tatsächlich die Kräfte und die Ich-Perspektive erfasst hat, bewegt die Policy erheblich. Gezielt erfasste Korpora existieren aus genau diesem Grund, und sie sind aus demselben Grund klein: Ego4D versammelte Tausende Stunden menschlicher Aktivität aus der Ich-Perspektive, gezielt instrumentiert und aufgezeichnet, und selbst das entstand größtenteils für die Wahrnehmung, nicht um einen Greifer zu steuern. Die Aufzeichnung, die ein Regler wirklich braucht, ist noch seltener.
Das Internet wird der billigste Lehrer bleiben, den ein Roboter je hatte, und es wird immer besser darin, einer Maschine zu zeigen, wie die Welt aussieht und wie sie sich für gewöhnlich bewegt. Was es niemals leisten kann, ist, einem Roboter zu zeigen, was seine eigenen Hände tun sollten, denn das war nie im Bild. Dieses Filmmaterial muss erst gemacht werden, gezielt, eine erfasste Aufgabe nach der anderen. Der Jackpot war schon immer nur ein halber Jackpot, und die wertvolle Hälfte ist die, die noch darauf wartet, aufgezeichnet zu werden.