Cross-Embodiment Learning: Eine Policy, viele Roboter

2023 bündelte eine Gruppe von Labors Roboterprotokolle aus mehr als zwanzig Institutionen zu einem einzigen Datensatz und trainierte damit ein einziges Netzwerk, RT-1-X. Anschließend setzten sie dieses Netzwerk auf einzelnen Robotern ein und verglichen es mit der Policy, die jedes Labor zuvor von Hand aus seinen eigenen Daten entwickelt hatte. Bei mehreren dieser Roboter gewann das gebündelte Modell, im Schnitt über fünf Labors hinweg um rund 50 Prozent, so das Open X-Embodiment-Projekt. Man lese das zweimal. Die Daten anderer Roboter hinzuzufügen, erfasst auf anderer Hardware in anderen Gebäuden, machte einen gegebenen Roboter besser in seiner eigenen Aufgabe.

Das ist Cross-Embodiment Learning in einem Satz: eine einzige Policy auf Demonstrationen aus vielen unterschiedlichen Roboterkörpern trainieren, sodass Fähigkeiten zwischen ihnen übertragbar werden und die Bündelung allen zugleich nützt. Der Reiz liegt auf der Hand für alle, die miterlebt haben, wie das Sprachmodellieren ein einziges unordentliches Korpus verschlungen hat, statt für jede Aufgabe ein handgebautes System zu pflegen. Der Haken ist: Ein Satz ist überall ein Satz, aber ein Körper ist nicht einfach ein Körper. Zwei Roboter können sich eine Aufgabe teilen und dabei fast nichts an ihrer Form gemeinsam haben.

Dieser Beitrag nutzt Open X-Embodiment, kurz OXE, als Fallbeispiel: was es ist, warum heterogene Körper das Problem wirklich schwierig machen, die Handvoll Kniffe, die eine Policy mit vielen Körpern sprechen lassen, und die Grenzen, über die niemand hinwegtäuschen sollte. Das Argument in Kürze: Der heutige Erfolg von Cross-Embodiment Learning ist real, aber eng begrenzt. Der Großteil davon ist Übertragung zwischen Einarm-Manipulatoren auf andere Einarm-Manipulatoren. Der Preis, der noch aussteht, ist Übertragung über wirklich unterschiedliche Morphologien hinweg, und die ergiebigste Quelle dafür ist überhaupt kein Roboter.

Der Datenhaufen, der die Spezialisten schlug

OXE ist kein Modell. Es ist ein Datenhaufen. Das Team sammelte rund 60 bestehende Roboter-Datensätze aus mehr als 20 Forschungsgruppen, vereinheitlichte sie in einem gemeinsamen Format und kam so, laut der eigenen Projektzusammenfassung, auf über eine Million reale Roboter-Trajektorien aus 22 verschiedenen Robotertypen, von Einarm-Systemen über zweiarmige Rigs bis zu einem vierbeinigen Roboter. Auf diesem Datenhaufen trainierten sie zwei Modelle: RT-1-X, eine kompakte Policy, und RT-2-X, ein deutlich größeres Vision-Language-Action-Modell.

Die Schlagzeile war positiver Transfer. RT-1-X schlug die maßgeschneiderten Baselines pro Roboter bei Aufgaben innerhalb der Trainingsverteilung um jene rund 50 Prozent. RT-2-X, das größere Modell, ging noch weiter: Es zeigte Fähigkeiten, die seine Trainingsroboter nie demonstriert hatten, und verbesserte sich bei einer Evaluation emergenter Fähigkeiten um einen Faktor, den das Team mit rund dem Dreifachen angab. Das Detail, das man mitnehmen sollte, ist: Das größere Modell übertrug besser. Cross-Embodiment ist nicht nur ein Daten-Kniff, es stützt sich auf Skalierung, um das Durcheinander zu absorbieren.

Warum zwei Roboter nicht in dieselbe Steckdose passen

Stellt man zwei Manipulatoren nebeneinander, zeigt sich das Problem sofort. Der eine meldet Aktionen als Gelenkgeschwindigkeiten, der nächste als Positionsänderungen des Endeffektors, ein dritter als absolute Posen. Der eine hat 6 Freiheitsgrade, der nächste 7. Der eine endet in einem Parallelgreifer, sodass „Hand schließen“ ein einzelner Skalar ist; der nächste trägt eine mehrfingrige Hand, bei der dieselbe Absicht ein Vektor aus 16 Zahlen ist. Kameras sitzen an unterschiedlichen Stellen, in unterschiedlichen Auflösungen, mit unterschiedlichen Steuerraten. Ein neuronales Netz hat feste Ein- und Ausgabebreiten und liest Position 3 seines Aktionsvektors jedes Mal als dieselbe Größe. Gibt man ihm einen anderen Körper, ändern die Zahlen stillschweigend ihre Bedeutung.

Deshalb ist Cross-Embodiment Learning schwieriger als Transfer Learning in Bildverarbeitung oder Sprache, wo die Schnittstelle einheitlich ist. Es gibt kein Token, das für jeden Roboter dasselbe bedeutet. Der Großteil der technischen Arbeit besteht in der Suche nach genau einem solchen.

Die Sprache hat Modellen eine einzige universelle Schnittstelle geschenkt, das Token. In der Robotik gibt es kein Äquivalent. Jeder Körper ist eine andere Steckdose, und Cross-Embodiment Learning ist im Kern die Jagd nach einem Adapter, der auf alle passt.

Vier Wege, Körper dieselbe Sprache sprechen zu lassen

Das Feld hat sich auf eine kleine Zahl von Angleichungsstrategien eingependelt, und die meisten realen Systeme kombinieren sie. Die einfachste ist ein gemeinsamer Aktionsraum: OXE bildete jeden Roboter auf einen normalisierten Endeffektor-Raum ab, was billig ist und genau deshalb funktioniert, weil die beteiligten Körper meist ähnliche Arme waren. Ein zweiter Weg ist Embodiment Conditioning, bei dem ein Token oder ein kurzes Text-Tag den Roboter benennt, sodass das Modell seine Ausgabe je Körper spezialisieren kann. Ein dritter Weg baut körperspezifische Stems und Köpfe um einen gemeinsamen Rumpf: NVIDIAs Isaac GR00T setzt Encoder und Aktions-Decoder pro Embodiment auf ein gemeinsames Backbone auf, sodass ein neuer Roboter als neuer Stem ankommt, statt ein komplettes Neutraining zu erzwingen. Ein vierter Weg tokenisiert Beobachtungen und Aktionen einfach und lässt einen Transformer die Abbildung Ende-zu-Ende lernen, der Weg, den Physical Intelligence mit seinem π0-Modell geht, trainiert über eine Flotte unterschiedlicher Roboter mit einem Flow-Matching-Aktions-Decoder.

Wo Transfer hilft und wo er leise schadet

Positiver Transfer ist kein Naturgesetz. Bündelt man Datensätze, deren Aktionsverteilungen nicht zusammenpassen, mittelt ein kleines Modell sie zu Brei, ein Versagen, das die Literatur negativen Transfer nennt. OXEs sauberes Ergebnis verdankt sich auch dem Umstand, dass die beteiligten Körper überwiegend Einarm-Manipulatoren waren, ein kleiner Schritt statt ein Sprung. Es verdankt sich außerdem der Skalierung, denn das größere RT-2-X bewältigte Heterogenität, an der ein kleineres Netz zerrissen wäre. Und es reagiert empfindlich auf Balance: Ein Datenhaufen, der zu 90 Prozent aus einem Roboter besteht, ertränkt die übrigen 21, egal wie man den Loss gewichtet.

Die Konzentration ist real. DROID, einer der meistgenutzten Manipulations-Datensätze, umfasst rund 76.000 teleoperierte Trajektorien, erfasst an einem einzigen Franka-Arm über Hunderte Szenen hinweg. Das ist exzellente Abdeckung für einen Körper und null Abdeckung für jeden anderen. „Eine Policy, viele Roboter“ stimmt heute also nur in einem begrenzten Sinn, unter Armen, die einander ähneln. Transfer über einen Humanoiden, einen vierbeinigen Roboter und einen Tischarm hinweg zugleich ist größtenteils noch ein offenes Problem.

Auch der menschliche Körper ist ein Embodiment

Treibt man Cross-Embodiment Learning bis an sein logisches Ende, hört die ergiebigste Quelle für Demonstrationen auf, ein Roboter zu sein. Sie ist ein Mensch. Video aus der Ich-Perspektive ist im Vergleich zur Teleoperation gewaltig groß und billig: Allein Ego4D umfasst rund 3.670 Stunden ungeskripteter Alltagsaktivität, und Ego-Exo4D paart Ich-Perspektive und Außenperspektive derselben geübten Aufgaben, sodass eine Policy Hand und Szene zugleich beobachten kann. RH20T geht noch weiter und zeichnet menschliche und robotische Demonstrationen derselben Fähigkeiten Seite an Seite auf. Behandelt man die menschliche Hand als ein weiteres Embodiment, erbt man um Größenordnungen vielfältigeres Verhalten, als es je eine Roboterflotte protokollieren könnte.

Man erbt damit aber auch die schwierigste Angleichung von allen. Eine fünffingrige Hand, menschliche Kinematik und keine protokollierte Propriozeption, sofern man sie nicht gezielt erfasst, machen das Retargeting menschlicher Bewegung auf einen Greifer zum Extremfall des Steckdosen-Problems. Reines RGB reicht nicht aus; man braucht Kraft, Kontakt und Tiefe, um zu rekonstruieren, was die Hand tatsächlich getan hat. Genau hier werden die Schwierigkeit von Cross-Embodiment Learning und die Schwierigkeit der Datenerfassung zu ein und derselben Schwierigkeit.

Cross-Embodiment Learning ist nicht die Behauptung, dass ein einziges Gehirn jeden Körper steuern kann. Es ist die engere, nützlichere Beobachtung, dass Körper mehr gemeinsam haben, als sie zeigen, und dass ein Netz mit genug Kapazität und einem hinreichend klugen Adapter diese Überlappung nutzen kann. OXE hat bewiesen, dass sich die Überlappung bei ähnlichen Armen finanziell auszahlt. Die Grenze liegt darin, wie weit sich der Adapter dehnen lässt, und die Antwort wird sich weniger in Architekturdiagrammen zeigen als darin, wessen Demonstrationen und wessen Körper am Ende im Datenhaufen landen.