Scaling Laws in der Robotik: Setzen sich mehr Daten durch?

Bündeln Sie über eine Million Roboter-Trajektorien aus zweiundzwanzig Embodiments, trainieren Sie eine einzige Policy auf dem gesamten Datenberg, und das Bemerkenswerte ist nicht, dass es funktioniert. Es ist, wie bescheiden sich die Zahlen dabei bewegen. Das war eine Lehre aus Open X-Embodiment, der Kollaboration von 2023, die mehr als 60 Datensätze aus 21 Institutionen zu einer einzigen Trainingsmischung zusammenführte. Das Co-Training erzeugte echten positiven Transfer, aber nichts, was dem sauberen, vorhersagbaren Anstieg gleichkäme, den ein Sprachmodell jedes Mal liefert, wenn man ihm mehr Text zuführt.

Die zugrunde liegende Frage ist leicht zu stellen und schwer zu beantworten. Große Sprachmodelle folgen Scaling Laws: Liefert man im richtigen Verhältnis mehr Parameter, mehr Token und mehr Rechenleistung, sinkt der Loss entlang eines Potenzgesetzes, das sich über Jahre extrapolieren lässt. Gilt dasselbe für Roboter-Policies? Wenn Physical Intelligence, ein Dutzend Humanoid-Labore und Roborecs allesamt darauf wetten, dass mehr Demonstrationsdaten besseres Verhalten erkaufen, lohnt es sich zu fragen, wo genau diese Wette aufgeht und wo sie still und leise ins Stocken gerät.

Die ehrliche Antwort: Mehr Daten helfen, aber die Robotik-Kurve wird von einem Faktor bestimmt, den die Sprachkurve weitgehend ignorieren konnte, nämlich der Abdeckung. Eine Roboter-Policy ist nur so gut wie der Ausschnitt der Welt, den ihre Daten berührt haben, und die Welt des physischen Kontakts ist weit größer, und weit teurer abzutasten, als der Text, der im Internet liegt.

Was die Scaling Laws der Sprache tatsächlich versprachen

Die Kaplan-Ergebnisse von 2020 und die Chinchilla-Korrektur von 2022 lieferten dem Feld eine Formel. Der Test-Loss sank als Potenzgesetz in Abhängigkeit von Modellgröße, Datensatzgröße und Rechenleistung, wobei alle drei gemeinsam wachsen müssen. Warum das funktionierte, ist es wert, klar benannt zu werden. Das Sprach-Pretraining ist selbstüberwacht, sodass jeder Satz im Web kostenlose Supervision liefert. Das Trainingsziel, das nächste Token vorherzusagen, ist zur Trainingszeit und zur Testzeit identisch. Und das Korpus existierte bereits in einer Größenordnung von Billionen Token; niemand musste es erst herstellen.

Roboter erben keine dieser drei Eigenschaften umsonst. Es gibt kein Billionen-Trajektorien-Korpus für Manipulation, das auf einem Server liegt. Das Trainingsziel, eine Aktion nachzuahmen, entspricht nicht dem, was der Roboter im Einsatz erlebt, wo er sich von seinen eigenen Fehlern erholen muss. Und jede Dateneinheit kostet reale Hardwarezeit.

Wo die Analogie tatsächlich greift

Nicht alles läuft auseinander. Die produktivste Idee der letzten drei Jahre ist, dass eine Roboter-Policy sich einen Sprach- oder Vision-Backbone ausleihen kann, dessen eigenes Scaling bereits anderswo bezahlt wurde. Vision-Language-Action-Modelle, darunter RT-2, Gemini Robotics, das π0 von Physical Intelligence und NVIDIA Isaac GR00T, starten von einem web-vortrainierten VLM und pfropfen darauf einen Action-Decoder auf. Das semantische Prior, was eine Tasse ist, was „den verschütteten Fleck wegwischen“ bedeutet, kommt kostenlos dazu, und RT-2 zeigte, dass ein Teil dieser semantischen Generalisierung sich auf das Verhalten des Roboters überträgt. Die Policy muss nur noch die letzte Meile der motorischen Verankerung lernen.

Auch das Zusammenlegen über Embodiments hinweg überträgt sich, bis zu einem gewissen Punkt. RT-X zeigte, dass eine über viele Roboter hinweg trainierte Policy Baselines schlägt, die nur auf einem einzelnen Roboter trainiert wurden. DROID, rund 76.000 Demonstrationen über 564 Szenen, erhoben an 13 Institutionen, wurde so angelegt, dass Szenen- und Aufgabenvielfalt, nicht das reine Volumen, das Modell speisen.

Wo sie bricht

Nun zu den Gelenken, an denen die Analogie Risse bekommt.

Fehler kumulieren sich. Ein Sprachmodell, das ein Token falsch vorhersagt, macht einfach weiter. Eine Policy läuft dagegen im geschlossenen Regelkreis: Ein kleiner Fehler verschiebt den Roboter in einen Zustand, den seine Trainingsdaten nie abgedeckt haben, die nächste Aktion wird schlechter, und die Trajektorie driftet von der Datenmannigfaltigkeit ab. Dieser Covariate Shift bedeutet, dass die Performance in der realen Welt schneller einbrechen kann, als jede Offline-Loss-Kurve vorhersagen würde.

Die Daten sind nicht fungibel. Ein Token mehr ist austauschbar. Eine Trajektorie mehr, von einem anderen Greifer, einer anderen Kameraposition oder einer anderen Regelfrequenz, ist es nicht. Die Embodiment-Lücke bedeutet, dass Daten von einem Franka-Arm sich nicht sauber auf eine humanoide Hand übertragen lassen, sodass man nicht einfach alles zusammenwerfen und erwarten kann, dass der Datenberg hilft.

Für jede Sekunde zahlt jemand. Teleoperierte Demonstration läuft in Echtzeit auf echter Hardware ab. Es gibt keine Abkürzung übers Scraping und kein synthetisches Korpus, das den Kontakt vollständig ersetzt.

Was die Nadel wirklich bewegt

Wenn Volumen allein nicht der Hebel ist, was dann? Die Belege der letzten zwei Jahre deuten eher auf Vielfalt und Verteilung als auf die reine Anzahl.

In der Robotik ist die nützliche Achse selten, wie viele Demonstrationen man hat. Es ist, wie viel von der Einsatzwelt sie berührt haben, und wie wenig davon ungesehen blieb.

Drei Hebel tauchen immer wieder auf. Vielfalt von Szene und Objekt, damit die Policy Kontakt unter vielen Bedingungen erlebt hat. Qualität und Konsistenz der Demonstration, denn eine Policy imitiert die Angewohnheiten ihres Lehrers, die guten wie die schlechten. Und gezielte Abdeckung des Long Tail, jener seltenen Zustände, in denen eingesetzte Roboter tatsächlich versagen. Die Arbeit des Toyota Research Institute zu Large Behavior Models argumentiert, dass breites Multitask-Pretraining jede neue Fähigkeit günstiger in der Ergänzung macht, ein sich verstärkender Ertrag, den das bloße Anhäufen von Single-Task-Daten nicht liefert.

Die Abkürzung über menschliche Daten

Hier kommt egozentrisches Video von Menschen ins Spiel. Eine Person, die eine Küche putzt, erzeugt einen dichten Strom aus Kontakt, Geschicklichkeit und Absicht aus der Ich-Perspektive, zu Kosten weit unterhalb dessen, was die Teleoperation eines Roboters durch dieselben Bewegungen kosten würde. Ego4D stellte Tausende Stunden solchen Materials zusammen; Ego-Exo4D fügte zeitsynchronisierte Perspektiven aus der ersten und dritten Person bei geübten Aufgaben hinzu. Die Wette im gesamten Feld lautet, dass diese Daten den menschlichen Long Tail günstig abdecken, und dass sich die Lücke zwischen einer menschlichen Hand und einer Roboterhand mit dem richtigen Retargeting schließen lässt, ergänzt um einen kleineren Datenberg direkt vom Roboter, der das Ganze verankert.

Ein Free Lunch ist das nicht. Menschlichen Videos fehlen Roboter-Propriozeption und saubere Aktionslabels, und die Morphologie-Lücke ist real. Aber als Weg, Abdeckung einzukaufen, also die Achse, die die Roboter-Performance tatsächlich begrenzt, ist es pro Stunde weit günstiger als jedes Teleoperations-Rig.

Bedeuten mehr Daten also bessere Policies? Ja, aber das Wort, das die Arbeit leistet, ist nicht „mehr“, sondern „welche“. Sprachmodelle konnten es sich bei der Verteilung bequem machen, weil das Web bereits das meiste abdeckte, wonach sie je gefragt würden. Roboter haben dieses Glück nicht. Die Teams, die die nächsten Jahre gewinnen, werden nicht diejenigen mit der größten Trajektorienzahl sein. Es werden diejenigen sein, deren Daten am genauesten zu der unübersichtlichen, kontaktreichen, long-tail-geprägten Welt passen, in die ihre Roboter geschickt werden.