Synthetische versus reale Roboterdaten: Die Mischung, die funktioniert

Die Robotik-Gruppe von NVIDIA berichtete kürzlich, mit einer generativen Pipeline rund um ihre Isaac GR00T-Modelle in etwa 11 Stunden in der Größenordnung von 780.000 synthetischen Manipulations-Trajektorien erzeugt zu haben. Im Vergleich dazu benötigte ein Konsortium aus 13 Institutionen für den Datensatz DROID, 76.000 real teleoperierte Trajektorien, rund ein Jahr zur Erfassung. Würde allein die Anzahl der Trajektorien entscheiden, wäre die Frage bereits geklärt.

Geklärt ist sie nicht. Policies, die ausschließlich mit simulierten oder ausschließlich mit generierten Daten trainiert wurden, stoßen immer wieder an dieselbe Wand: Der Roboter wirkt im Demo-Video fließend, scheitert dann aber am ersten echten Handtuch, an der ersten unbeleuchteten Schublade, am ersten Objekt, dessen Reibung der Simulator falsch eingeschätzt hat. Die eigentliche Erkenntnis der letzten zwei Jahre ist weder, dass synthetische Daten funktionieren, noch, dass sie versagen. Sie lautet: Die Rezepte, die generalisieren, sind fast immer Mischungen, und das Mischverhältnis ist eine Designentscheidung mit Konsequenzen.

Die Frage, die es zu stellen lohnt, lautet daher nicht "synthetisch oder real", sondern präziser: Welche Teile Ihrer Datenverteilung können Sie günstig fälschen, und welche müssen Sie sich in der physischen Welt erarbeiten? Der Wechsel von einer Seite zu einem Verhältnis ist der eigentliche Punkt.

Vier Arten von Daten, vier unterschiedliche Aufgaben

Robotisches Lernen speist sich aus vier Versorgungslinien, und jede beherrscht etwas besonders gut, worin die anderen schwächeln.

Reale Roboter-Teleoperation liefert exakte Aktions-Labels direkt vom jeweiligen Roboter: die Gelenkbefehle, die die Bewegung tatsächlich erzeugt haben. Sie ist zugleich die teuerste Linie im Betrieb. DROID, Open X-Embodiment (mehr als eine Million reale Trajektorien, gebündelt aus über 60 Datensätzen über 22 Robotertypen hinweg) und RH20T (über 100.000 kontaktreiche Sequenzen) existieren, weil das Erfassen dieser Daten im großen Maßstab wirklich schwierig ist.

Egozentrisches Video von Menschen ist der gegenteilige Kompromiss. Allein Ego4D umfasst rund 3.670 Stunden menschlicher Aktivität aus der Ich-Perspektive, und Ego-Exo4D ergänzt synchronisierte Drittperson-Ansichten. Die Abdeckung realer Hände bei realen Aufgaben ist enorm, und die Grenzkosten sind niedrig, doch es fehlen Roboter-Aktions-Labels, und es besteht eine reale Verkörperungslücke zwischen einer menschlichen Hand und einem Zweifingergreifer.

Physiksimulation (Isaac Sim, Domain Randomization und Verwandte) lässt sich günstig skalieren, liefert perfekte Labels und erlaubt es, gefährliche Zustände sicher zu proben. Ihre Schwäche ist die Sim-to-Real-Lücke, die genau dort am größten ist, wo Manipulation stattfindet: bei Kontakt, Reibung und verformbaren Objekten.

Generiertes oder neuronales Video, die jüngste Linie, nutzt World Models, um Trajektorien zu synthetisieren, etwa bei der neuronalen Datengenerierung im GR00T-Stil. Es ist günstig und visuell vielfältig, doch die Physik kann unbemerkt halluziniert sein, und die Aktions-Labels sind nur approximativ.

Vier Quellen für Roboter-Trainingsdaten und wofür sich jede tatsächlich eignet

Quelle	Aktions-Labels	Grenzkosten	Abdeckung von Randfällen	Häufigster Fehlermodus
Reale Teleoperation	Exakt, roboterspezifisch	Hoch	Eng	Überanpassung an ein Rig und ein Labor
Egozentrisches Video von Menschen	Keine (Verkörperungslücke)	Niedrig	Sehr breit	Diskrepanz zwischen menschlicher und robotischer Morphologie
Physiksimulation	Exakt	Niedrig	Einstellbar	Sim-to-Real-Lücke bei Kontakt und Stoff
Generiertes / neuronales Video	Approximativ	Niedrig	Breit (visuell)	Halluzinierte Physik

Die Mischungen, die tatsächlich zum Einsatz kommen

Betrachtet man, was die führenden Systeme über ihre Trainingsdaten offenlegen, zeigt sich ein konsistentes Muster: Niemand verwendet nur eine Quelle.

NVIDIA beschreibt Isaac GR00T als trainiert auf einer Mischung aus erfassten realen Daten, menschlichem Video und synthetisch generierten Trajektorien, und zwar genau deshalb, damit das Modell nicht von einer einzigen Linie abhängig ist. Physical Intelligence hat ausdrücklich erklärt, dass seine Modelle pi0 und pi0.5 auf einer heterogenen, verkörperungsübergreifenden Mischung ko-trainiert werden, wobei pi0.5 auf Open-World-Generalisierung aus breiten und vielfältigen Daten ausgerichtet ist statt auf einem einzigen sauberen Korpus. Open X-Embodiment zeigte, dass das Ko-Training einer einzigen Policy auf Dutzenden gebündelten realen Datensätzen besser abschnitt als das Training auf jedem einzelnen davon, was das Ko-Training-Argument im Kleinen ist. Und die Large Behavior Models des Toyota Research Institute stützen sich auf große Mengen realer Teleoperation, die durch andere Quellen ergänzt, nicht ersetzt wird.

Das Fazit ist struktureller, nicht zufälliger Natur. Kann sich ein Team genau eine Quelle leisten, wählt es reale Teleoperation und leidet an mangelnder Abdeckung. Kann es sich mehrere leisten, behält es einen realen Anker und kauft sich Breite bei den günstigeren Linien hinzu. Die Mischung ist die Strategie.

Wie sich das Mischverhältnis bestimmen lässt

Wenn die Antwort eine Mischung ist, besteht die praktische Fertigkeit darin, die Anteile zu wählen. Einige Faustregeln bewähren sich teamübergreifend:

• Setzen Sie reale Daten vom tatsächlichen Roboter dort ein, wo Kontakt und belohnungsrelevante Dynamik entstehen. Das Greifen eines verformbaren Objekts, das Einschätzen von Rutschen, das Aufbringen von Kraft: Das sind genau die Verhaltensweisen, bei denen ein Simulator oder ein Videomodell am ehesten subtil danebenliegt, also lohnt sich hier die Investition in echte Daten.
• Nutzen Sie Simulation für Abdeckung und Sicherheit. Seltene Fehlschläge, gefährliche Zustände und rein geometrische Vielfalt lassen sich günstig erzeugen und sind physisch nur mühsam zu erfassen.
• Nutzen Sie generiertes Video für visuelle und semantische Vielfalt. Beleuchtung, Unordnung und Hintergründe sind genau das, was neuronale Generierung gut variiert und was Teleoperations-Rigs nur unzureichend abbilden.
• Verankern Sie das Ganze mit einer schmalen Schicht realer, domäneneigener Daten. Ein kleiner, gut gewählter Fine-Tuning-Datensatz auf dem Zielroboter schließt oft den Großteil der Lücke, die simuliertes oder generiertes Pretraining hinterlässt.

Die Anteile verschieben sich je nach Problem. Beim Reinforcement Learning für Fortbewegung ist es üblich, dass die überwältigende Mehrheit der Erfahrung simuliert ist und nur ein leichtes Fine-Tuning in der realen Welt erfolgt. Bei kontaktreicher Manipulation verschiebt sich das Gleichgewicht zurück zur realen Teleoperation, weil dort die Fehler des Simulators am stärksten ins Gewicht fallen.

Die eigentlich hilfreiche Frage ist nicht, ob synthetische Daten funktionieren. Sie lautet, welchen Ausschnitt Ihrer Verteilung Sie bereit sind zu fälschen, und welchen Sie sich in der physischen Welt erarbeiten müssen.

Wo das Verhältnis versagt

Mischungen versagen auf spezifische, diagnostizierbare Weise. Der klassische Fall ist die Sim-to-Real-Lücke: Eine Policy, die eine Starrkörpersimulation gemeistert hat, trifft auf echten Stoff oder ein nachgiebiges Objekt, und die erlernte Dynamik gilt nicht mehr. Generiertes Video führt eine subtilere Variante ein, halluzinierte Physik, bei der eine Bildfolge plausibel aussieht, aber dynamisch unmöglich ist, sodass eine darauf trainierte Policy die falsche kausale Struktur lernt. Zu viel saubere Simulation erzeugt Covariate Shift: Der Roboter hat nie einen Beinahe-Fehlschlag gesehen und verfügt daher über kein Erholungsverhalten, wenn die reale Welt vom demonstrierten Pfad abweicht. Und es gibt ein Provenienz-Problem, das nichts mit Dynamik zu tun hat: das Vermischen von Datensätzen, deren Lizenzierung und Erfassungseinwilligung unklar sind, was mit verschärfter Regulierung wie dem EU Data Act zu einem wachsenden Haftungsrisiko wird.

Keines davon ist exotisch, und für jedes gibt es eine Standardmaßnahme: mehr Domain Randomization, bessere reale Anker, explizite Erholungs-Demonstrationen, eine saubere Provenienzkette. Doch jede Gegenmaßnahme kostet etwas, weshalb sich das Verhältnis wie ein Budget verhält, nicht wie eine Formel.

Die Teams, die echte Fortschritte erzielen, wählen keine Seite in einer Synthetisch-gegen-Real-Debatte, die nie der richtige Rahmen war. Sie feinjustieren eine Mischung, Quelle für Quelle und Aufgabe für Aufgabe, und behandeln das Verhältnis selbst als eine Aussage über die Welt, eine, die es zu messen gilt statt zu erraten.