Die Sim-to-Real-Lücke, erklärt: wo reale Daten gewinnen

Eine Quadruped-Policy, die vollständig in der Simulation trainiert wurde, kann einen Schotterhang überqueren, den sie nie zuvor gesehen hat. Eine auf dieselbe Weise trainierte Manipulations-Policy scheitert dagegen oft daran, einen durchsichtigen Plastikbecher zu greifen, weil die Tiefenkamera, auf die sie angewiesen ist, dort Rauschen liefert, wo der Simulator eine saubere Oberfläche gerendert hat. Gleiches Rezept, zwei Ergebnisse. Der Unterschied liegt darin, wo jede Aufgabe auf der Sim-to-Real-Lücke liegt.

Die Lücke ist nicht eine einzelne Sache. Sie ist ein Bündel von Abweichungen zwischen der Welt, die ein Simulator modelliert, und der Welt, in der ein Roboter handelt: Kontaktdynamik, die er approximiert, Sensorrauschen, das er unzureichend abbildet, Reibung und Masse, die er schätzt, sowie ein langer Schweif von Ereignissen, die er nie erzeugt hat. Bei manchen Aufgaben sind diese Abweichungen klein genug, um sie mit Randomisierung zu überdecken. Bei anderen ist die Abweichung die Aufgabe selbst.

Simulation ist im modernen Robot Learning nicht optional, und das ist kein Plädoyer gegen sie. Es ist ein Plädoyer für Präzision: zu wissen, welche Teile der Kompetenz eines Roboters sich synthetisieren lassen und welche in der physischen Welt beobachtet werden müssen. Wer das falsch einschätzt, kann einen ganzen GPU-Cluster darauf verwenden, einer Policy beizubringen, sich einer Welt sicher zu sein, die es gar nicht gibt.

Die Lücke ist drei Lücken, nicht eine

Wer jeden Fehlschlag unter „sim-to-real“ verbucht, verdeckt die Struktur des Problems. Es hilft, drei unterschiedliche Lücken zu trennen, denn jede schließt sich auf andere Weise.

Die Dynamiklücke ist die Abweichung in der Physik. Simulatoren lösen Kontakt über Näherungen, Penalty-Kräfte oder Komplementaritäts-Solver, und modellieren Reibung als idealisierten Coulomb-Kegel. Eine reale, sehnenbetriebene Hand bringt Spiel, Kabeldehnung und thermische Drift mit, die kein Standard-Solver erfasst. Der Fehler ist pro Schritt klein und summiert sich über eine lange Manipulationssequenz.

Die Wahrnehmungslücke ist die Abweichung in der Sensorik. Rendering ist nicht dasselbe wie Sensorik. Reale Kameras bringen Rolling Shutter, Bewegungsunschärfe und Autobelichtung mit; Tiefensensoren liefern bei transparenten, spiegelnden oder dünnen Objekten nur Datenmüll. Eine Policy, die mit sauberer synthetischer Tiefe gelernt hat, besitzt keine Repräsentation für den Fehlermodus, dem sie zuerst begegnen wird.

Die Abdeckungslücke ist die Abweichung in der Vielfalt. Ein Simulator enthält nur, was jemand modelliert hat. Die reale Welt liefert die leicht zerdrückte Müslischachtel, das Kabel, das sich verhakt hat, die Blendung um 17 Uhr durch ein nach Westen ausgerichtetes Fenster. Das sind die unbekannten Unbekannten, und es sind genau jene Stichproben, die Domain-Randomisierung nicht erzeugen kann, weil niemand daran gedacht hat, sie zu parametrisieren.

Die drei Lücken schließen sich nicht mit demselben Werkzeug. Die Dynamiklücke weicht besseren Solvern und Systemidentifikation. Die Wahrnehmungslücke weicht besserem Rendering und realen Sensordaten. Die Abdeckungslücke weicht keinem von beiden, denn man kann nicht über Fehlermodi randomisieren, die man sich nicht vorgestellt hat; nur der Kontakt mit der realen Welt fügt sie dem Trainingsdatensatz hinzu.

Wo sich Simulation bewährt

All das macht Simulation nicht schwach. Für eine große Klasse von Problemen ist sie das richtige Werkzeug, und die Ergebnisse sind eindeutig. Beinbasierte Fortbewegung ist der klarste Fall: Der relevante Zustand ist größtenteils propriozeptiv, Kontaktereignisse sind kurz, und die Belohnung ist dicht. Man kann Zehntausende paralleler Umgebungen laufen lassen, kostenlos zurücksetzen und Masse, Reibung und Latenz so lange randomisieren, bis die Policy sich nicht mehr um die exakten Werte kümmert. Pipelines rund um NVIDIA Isaac und GR00T setzen genau darauf, und die simulationstrainierten Lauf- und Ganzkörper-Controller, die auf realer Hardware zum Einsatz kommen, belegen, dass der Ansatz übertragbar ist, wenn die Physik gut modelliert ist.

Das Muster lässt sich verallgemeinern. Wo die Dynamik von starren Körpern dominiert wird, wo die Sensorik eher propriozeptiv als visuell ist und wo sich eine dichte Belohnung definieren lässt, ist Simulation mit Domain-Randomisierung bei den Kosten pro nutzbarer Stichprobe kaum zu schlagen.

Wo Simulation leise versagt

Vom Gehen zum Greifen wechselt der Boden. Kontaktreiche Manipulation ist dort, wo Simulatoren am schwächsten sind und wo die Konsequenzen am wenigsten verzeihen. Einen Steckverbinder einstecken, ein Hemd falten, eine Oberfläche abwischen, ein Kabel einfädeln: Jede dieser Aufgaben hängt von Reibung, Nachgiebigkeit und Mikro-Schlupf ab, die aktuelle Solver nur schlecht approximieren. Verformbare Objekte machen es noch schlimmer, denn Stoff, Lebensmittel und Kabel haben praktisch unendlich viele Freiheitsgrade und keinen sauberen Starrkörper-Prior.

Ein Simulator ist eine Hypothese über die Physik. Kontakt ist der Ort, an dem die Hypothese auf die Probe gestellt wird, und es ist der Ort, an dem sie am häufigsten scheitert.

Bei der Wahrnehmung zeigt sich dieselbe Struktur. Transparente und reflektierende Objekte, genau das, womit ein Zuhause oder ein Labor voll ist, sind der Punkt, an dem synthetische Tiefe am stärksten von realen Sensoren abweicht. Und alles, was Menschen einbezieht: Übergaben, gemeinsam genutzte Arbeitsbereiche, das Lesen von Absichten, hat überhaupt keinen originalgetreuen Simulator, weil man nicht mehr Physik modelliert, sondern menschliches Verhalten. Deshalb werden die stärksten generalistischen Manipulations-Policies auf realen Interaktionsdaten trainiert. Physical Intelligence trainiert seine Policies auf großen, heterogenen Datensätzen realer Roboter vor; die Large Behavior Models des Toyota Research Institute basieren auf Hunderten Stunden teleoperierter Demonstration; und Open X-Embodiment existiert, weil das Zusammenführen realer Roboterdaten über Labore hinweg jeden einzelnen Simulator bei der Abdeckung schlägt.

Aufgaben mit langem Zeithorizont verschärfen das Problem zusätzlich. Eine Policy, die pro Schritt zu 99 % zuverlässig ist, ist über fünfzig Schritte hinweg nur noch zu etwa 60 % zuverlässig, und der Simulationsfehler ist nicht mittelwertfrei: Er verzerrt in konsistente Richtungen, die eine Policy zu nutzen lernt. Was im Simulator wie Meisterschaft aussieht, kann eine aufwendige Methode sein, eine Physik-Engine auszutricksen, und die Rechnung wird auf realer Hardware fällig.

Wie die Lücke in der Praxis geschlossen wird

Die Teams, die wirklich vorankommen, wählen keine Seite. Sie kombinieren. Drei Vorgehensweisen wiederholen sich dabei.

Den Simulator an die Realität kalibrieren, manchmal auch real-to-sim genannt: reale Trajektorien nutzen, um Masse, Reibung und Latenz zu identifizieren, sodass das Modell, um das herum randomisiert wird, auf der Wahrheit zentriert ist und nicht auf einer Vermutung. Über die verbleibende Unsicherheit randomisieren, damit die Policy robust gegenüber den Parametern ist, die sich nicht genau bestimmen ließen. Und auf realen Demonstrationen mittrainieren, damit die Policy in realen Sensorstatistiken verankert ist und in dem unordentlichen Ausläufer, den kein Simulator erzeugt hat. Moderne Vision-Language-Action-Policies folgen genau diesem Muster: breit vortrainieren, oft auf realem und sogar menschlichem Video, dann auf das Ziel-Embodiment feinabstimmen.

Diese letzte Zutat erklärt, warum reale Datensätze zur Infrastruktur geworden sind. DROID verteilte die Erfassung von Manipulationsdaten auf 564 Szenen und 13 Institutionen; Ego-Exo4D erfasst gepaarte Aufnahmen menschlicher Aktivität aus der Ich-Perspektive und der Fremdperspektive und gibt Policies damit einen Prior darüber, wie Aufgaben tatsächlich ausgeführt werden. Simulation multipliziert die Daten, die man bereits versteht. Reale Erfassung erschließt die Teile der Verteilung, die man nicht versteht.

Die Lücke ist am Ende weniger ein Bug, den es zu beseitigen gilt, als eine Landkarte, die es zu lesen gilt. Simulation gehört dorthin, wo die Physik gut modelliert und günstig zu randomisieren ist. Reale Daten gehören dorthin, wo Kontakt, Verformung und menschlicher Kontext zu Hause sind. Teams, die beides als Ergänzung behandeln und nicht als Ersatz, sind diejenigen, deren Roboter beim ersten echten Versuch häufiger funktionieren als nicht.