Warum Weltmodelle ins Humanoid-Rennen eingestiegen sind
Weltmodelle lassen humanoide Roboter Dynamik aus rohem Videomaterial lernen, ganz ohne Roboter im Prozess. Warum jedes Labor eines baut, und wo das Lernen aus Video an seine Grenzen stößt.
2024 trainierte Google DeepMind ein Modell namens Genie mit Zehntausenden Stunden Internetvideo von Menschen, die 2D-Jump-'n'-Run-Spiele spielen. Niemand hat auch nur ein einziges Bild damit annotiert, was die Sprungtaste bewirkt. Und doch lässt sich das trainierte Modell mit einem einzigen Standbild füttern und spielen: Man drückt links, die Figur läuft nach links, die Szene scrollt, die Schwerkraft zieht sie wieder herunter. Darunter liegt keine Spiel-Engine, sondern nur ein Netzwerk, das gelernt hat, wie Pixel den Aktionen dessen folgen, der den Controller in der Hand hielt.
Dieser Kunstgriff hat einen ernsten Namen und einen ernsten Zweck. Ein Weltmodell ist ein gelernter Prädiktor dafür, wie sich eine Szene entwickeln wird, optional bedingt auf eine Aktion. Die Humanoiden-Branche will es unbedingt, aus einem schlichten Grund: echte Roboter-Demonstrationen sind langsam und teuer, Video ist keines von beidem. Open X-Embodiment hat in der Größenordnung von einer Million realer Roboter-Trajektorien über 22 verschiedene Maschinen hinweg zusammengetragen, und das ist immer noch ein Rundungsfehler neben den Milliarden Stunden menschlicher Aktivität, die im Internet bereits vorhanden sind. Wenn sich physikalisch geformte Priors aus Video lernen lassen, ohne dass ein Roboter in der Erfassungsschleife steckt, umgeht man den Engpass.
Das ist das Versprechen, und es erklärt, warum Weltmodelle in etwa achtzehn Monaten von einer Forschungskuriosität zu einem festen Posten auf fast jeder Humanoiden-Roadmap wurden. Der Haken ist leiser. Ein Modell, das vorhersagt, wie das nächste Bild aussieht, ist nicht dasselbe wie ein Modell, das weiß, wie es sich anfühlen würde, dieses Bild herbeizuführen. Passives Video lässt genau die Signale aus, auf denen ein Regler läuft. Dieser Beitrag erklärt, warum dieser Kurswechsel geschah, und wo das Lernen aus Video an seine Grenzen stößt.
Was ein Weltmodell wirklich ist
Der Begriff deckt mindestens drei unterschiedliche Maschinen ab, und sie zu vermischen ist die Ursache der meisten Verwirrung.
Die erste ist ein gelernter Simulator. In der Dreamer-Linie des modellbasierten Reinforcement Learning trainiert ein Agent ein kompaktes Modell seiner Umgebung und plant dann, indem er dieses Modell in der Vorstellung durchspielt, günstiger und schneller, als die reale Welt zu berühren. Die zweite ist Repräsentations-Pretraining: zukünftige Bilder oder zukünftige Embeddings vorhersagen, im Stil sogenannter Joint-Embedding Predictive Architectures (JEPA), und die dabei anfallenden Merkmale als visuelles Rückgrat für die Steuerung behalten. Die dritte ist ein aktionsbedingter Videoprädiktor, ein neuronaler Simulator, der bei einer Kandidatenaktion einige plausible nächste Sekunden erzeugt und diese möglichen Zukünfte dann nutzt, um Pläne zu bewerten oder Trainingsdaten zu synthetisieren. NVIDIAs Cosmos World Foundation Models, eingebunden in den GR00T-Stack des GEAR Lab, fallen klar in diese dritte Kategorie.
Die wichtigste Unterscheidung ist passiv gegenüber aktionsbedingt. Ein passives Modell beantwortet, was als Nächstes passiert. Ein aktionsbedingtes Modell beantwortet, was als Nächstes passiert, wenn ich eine bestimmte Sache tue. Nur das zweite ist direkt für die Steuerung nützlich, und das zweite ist weitaus schwerer zu trainieren, weil das Internet voll von der ersten Art Video ist und fast keines von der zweiten enthält.
Warum sich die Humanoiden-Labore dem Video zuwandten
Man folge der Ökonomie. Eine teleoperierte Roboter-Trajektorie kostet einen Operator, eine Maschine und tatsächlich verstrichene Zeit. Menschliches Video kostet einen Download. Die Lücke umfasst mehrere Größenordnungen, und sie weist nur in eine Richtung.
Also kamen die Schachzüge schnell. NVIDIA veröffentlichte Cosmos als offen verfügbare Weltmodell-Plattform, die genau auf dieses Pretraining-Problem zielt. 1X Technologies veranstaltete eine öffentliche Weltmodell-Challenge und bat Forscher, zukünftige Bilder seines Heimroboters aus vergangenen vorherzusagen. Toyota Research Institute setzte für seine großen Verhaltensmodelle auf breites Pretraining, und Google DeepMind fügte einen videotrainierten Prior in das Reasoning von Gemini Robotics ein. Metas V-JEPA trieb den Repräsentationsweg voran und sagte im Embedding-Raum statt in Pixeln vorher. Unterschiedliche Wetten, eine gemeinsame These: Video soll einen Prior darüber liefern, wie sich Objekte bewegen und wie Menschen mit ihnen umgehen, und die knappen Roboterdaten werden nur dafür ausgegeben, diesen Prior auf einen bestimmten Körper abzustimmen.
Was Video vermittelt, und was es still auslässt
Passives Video ist wirklich reichhaltig. Es trägt Erscheinungsdynamik, Objekt- und Szenenbewegung sowie eine riesige Verteilung menschlicher Affordanzen: wie Menschen tatsächlich eine Tasse greifen, eine Kiste abstützen oder ein Schneidebrett mit der freien Hand festhalten. Genau das sind die Priors, die sich eine Manipulations-Policy nur schwer selbst aneignen kann.
Was Video nicht trägt, ist die andere Hälfte der Steuerung. Es gibt keine Aufzeichnung des Befehls, der die Bewegung hervorgebracht hat, keine Kontaktkräfte an den Fingerspitzen, keine Propriozeption, kein taktiles Signal und oft kein verlässliches 3D. Schlimmer noch: Ein Videomodell wird darauf trainiert, richtig auszusehen, nicht richtig zu sein. Es optimiert visuelle Plausibilität und rendert daher unbekümmert eine Tasse, die reibungsfrei rutscht, oder einen Finger, der durch einen Griff hindurchgeht, weil diese Bilder vollkommen glaubwürdig wirken. Physikalische Korrektheit ist nicht Teil seiner Verlustfunktion.
| Signal | Vorhanden in passivem Video | Erforderlich für Steuerung |
|---|---|---|
| Erscheinungsbild und Szenendynamik | Ja | Ja |
| Objektbewegung und menschliche Affordanzen | Ja | Ja |
| Die Aktion oder der Befehl, der die Bewegung verursacht hat | Nein | Ja |
| Kontaktkraft und Drehmoment | Nein | Ja, für kontaktreiche Aufgaben |
| Propriozeption und Gelenkzustand | Nein | Ja |
| Taktiles Feedback | Nein | Ja, für Arbeiten in der Hand |
| Kalibrierte 3D-Geometrie | Manchmal | Ja |
Die Aktionsannotation ist der teure Teil
Die eigentliche Lücke ist nicht Auflösung oder Stundenzahl, sondern die Aktion. Passives Video ist Beobachtungsdaten: Es zeigt, was passiert ist. Steuerung braucht interventionelle Daten: was passiert, wenn ich hier drücke statt dort. Dieser Unterschied ist die alte Mauer zwischen Korrelation und Kausalität, und keine Menge zusätzliches YouTube behebt das, weil das Kontrafaktische nie aufgezeichnet wurde.
Die Datensätze, die sie tatsächlich schließen, sind genau aus diesem Grund klein. Open X-Embodiment, DROID und RH20T sind wertvoll, weil ein Mensch im Regelkreis saß und die Aktion zusammen mit den Pixeln protokolliert wurde. Ego-Exo4D geht weiter und paart eine Ich-Perspektive mit synchronisierten Third-Person-Kameras sowie dichten Schritt- und Aktionsannotationen, sodass sich dieselbe Bewegung sowohl aus den Augen des Handelnden als auch von außen ablesen lässt. Jeder dieser Datensätze erforderte gezielte Erfassung, weshalb es davon genau Tausende Stunden gibt und nicht Milliarden.
Es gibt einen zweiten, subtileren Preis. Rollt man ein gelerntes Modell über einen langen Horizont vorwärts, summieren sich kleine Vorhersagefehler pro Schritt. Ohne real verankertes Feedback, das die Drift korrigiert, wird ein imaginierter Rollout, der in der ersten Sekunde noch plausibel wirkt, bis zur zehnten zu Unsinn. Ein Prior kann eine Policy in Gang setzen. Er kann sie aber nicht von sich aus ehrlich halten.
Ein auf Video trainiertes Weltmodell lernt, wie das nächste Bild aussieht. Steuerung muss wissen, wie es sich anfühlen würde, dieses nächste Bild herbeizuführen, und dieses Signal war nie in den Pixeln enthalten.
Wie die beiden Hälften zusammenpassen
Als Video gegen Roboterdaten formuliert, ist die Debatte eine falsche Wahl. Das Muster, das bei den stärksten Systemen funktioniert, ist ein Stapel: breit vortrainieren, auf Video und gelernten Repräsentationen, für den Prior, dann eng feinabstimmen, auf aktionsbedingten und kontaktreichen Demonstrationen, für die letzte Meile. Toyotas große Verhaltensmodelle, das pi-zero von Physical Intelligence und Gemini Robotics fahren alle eine Version dieses zweistufigen Rezepts. Die Video-Hälfte wird jedes Quartal günstiger. Die knappe, entscheidende Zutat ist die andere Hälfte: aktionsbedingte, kraftannotierte Demonstration aus der Ich-Perspektive, die dem Modell nicht nur zeigt, was die Welt getan hat, sondern was ein Körper ihr angetan hat.
Weltmodelle sind die richtige Antwort auf eine reale Knappheit, und sie werden immer besser darin, Pixel vorherzusagen. Aber der Humanoid, der tatsächlich ausgeliefert wird, wird derjenige sein, dessen Weltmodell durch Daten korrigiert wurde, die wussten, was die Aktion war. Video zeigt einem Roboter die Welt. Etwas muss ihm immer noch den Unterschied zwischen Zusehen und Handeln zeigen.