Knappe Demos strecken: Datenaugmentation für Roboter-Policies

In der Bildklassifikation werden aus einem Foto klammheimlich fünfzig. Spiegeln, zuschneiden, den Farbton verschieben, die Helligkeit leicht anpassen, und das Label liest sich noch immer als „Katze“. Dieser Trick hat einen Namen, Datenaugmentation, und er ist einer der unterschätzten Gründe dafür, dass Vision-Modelle skaliert haben: Der Trainingsdatensatz wurde gratis größer. Die Robotik will dasselbe kostenlose Mittagessen, und sie will es dringend. Eine einzige echte Roboter-Demonstration kann Minuten sorgfältiger Teleoperation kosten, und davon gibt es chronisch zu wenige.

Also augmentieren die Teams. Sie schneiden Kamerabilder zu und färben sie um, montieren Demonstrationen mit Diffusionsmodellen auf neue Hintergründe, injizieren Rauschen in aufgezeichnete Trajektorien und rendern dieselbe Bewegung aus Kamerawinkeln, die physisch nie existiert haben. Gut gemacht, verwandelt Augmentation eine erfasste Demonstration in viele, und sie verbessert messbar, wie eine Policy mit verändertem Licht oder einem unaufgeräumten Tisch zurechtkommt. Das ist real, es ist günstig, und jede ernsthafte Robot-Learning-Pipeline nutzt einen Teil davon.

Doch es gibt eine Grenze, die Augmentation nicht überschreiten kann, und genau zu wissen, wo sie verläuft, trennt einen günstigen Gewinn von einem stillen Scheitern. Man kann verändern, wie eine Demonstration aussah. Man kann nicht verändern, wie sie sich anfühlte. Ein umgefärbtes Bild trägt dieselbe Greifkraft wie eh und je. Eine wiederabgespielte Trajektorie verwendet einen Kontakt wieder, der genau einmal gemessen wurde. Augmentation vervielfacht die Wahrnehmung. Sie kann keine Physik erfinden, die sie nie gesehen hat.

Visuelle Augmentation: der günstige, verlässliche Gewinn

Die älteste Familie von Tricks arbeitet allein am Bild. Zufällige Crops, kleine Verschiebungen, Farb-Jitter, Änderungen von Helligkeit und Kontrast, Gauß-Unschärfe: Keiner davon rührt das Aktions-Label an, und alle machen eine Policy weniger anfällig gegenüber genau jenen Störeinflüssen, die den Transfer vom Labor ins Feld zunichtemachen. Berkeleys Arbeit zum Reinforcement Learning aus Pixeln zeigte, dass schon etwas so Grobes wie ein zufälliger Crop, konsistent angewendet, die Sample-Effizienz und Robustheit einer bildbasierten Policy deutlich steigern kann, mitunter genug, um den Abstand zu Methoden zu schließen, die weit mehr Daten verwenden.

Die neuere, mächtigere Variante ist generativ. Statt Pixel zu jittern, schreibt man die Szene neu. Diffusion-Inpainting kann die Küche hinter dem Roboter austauschen, Störobjekte einfügen, die der Demonstrierende nie platziert hat, oder den Tisch neu ausleuchten, als hätte sich die Sonne bewegt, und lässt dabei das manipulierte Objekt und die Handtrajektorie unangetastet. Ein Strang jüngerer Robot-Learning-Forschung nutzt genau dies, um jene Hintergrund- und Beleuchtungsvielfalt herzustellen, die ein Teleoperations-Rig nur schlecht abtastet. Was jede visuelle Methode erkauft, ist dasselbe: Invarianz gegenüber dem Erscheinungsbild. Was keine von ihnen ändert, ist die zugrunde liegende Aktion oder die Dynamik des Objekts. Die Trajektorie ist identisch, nur ihre Verpackung wurde hübscher.

Trajektorien- und Zustandsaugmentation: Zurückfinden lehren

Imitationslernen hat eine strukturelle Schwäche. Eine Policy, die nur auf sauberen Experten-Demonstrationen trainiert wurde, ist nur in den Zuständen verlässlich, die diese Demonstrationen besucht haben, und sobald der Roboter auch nur geringfügig von diesem Pfad abdriftet, hat er nie gesehen, wie er zurückfindet. Die Fehler summieren sich auf. Die Trajektorienaugmentation greift dies direkt an, indem sie die Zustände abseits des Pfads absichtlich herstellt.

Rauschinjektion ist die einfachste Form. Berkeleys DART-Ansatz stört den Demonstrierenden während der Aufzeichnung, sodass sich die protokollierte Trajektorie zu einem Schlauch um den nominalen Pfad ausweitet und die Policy Korrekturaktionen für kleine Abweichungen lernt, statt sich eine einzige saubere Linie einzuprägen. Methoden im Stil von DAgger gehen weiter: die aktuelle Policy ausführen, die von ihr tatsächlich besuchten Zustände sammeln, einen Experten dort die korrekte Aktion annotieren lassen und diese Korrekturen anschließend wieder in das Training einfließen lassen. Beide Techniken synthetisieren Abdeckung nahe der demonstrierten Mannigfaltigkeit. Beide teilen eine Grenze. Sie verbreitern den Schlauch um das herum, was man erfasst hat; sie können keine Region des Zustandsraums erreichen, die der Roboter nie betreten und der Experte nie demonstriert hat.

Replay und Ansichtssynthese: mehr Demos aus derselben Erfassung

Eine dritte Familie vervielfacht ganze Demonstrationen. Die Replay-basierte Generierung, populär gemacht durch Pipelines im Stil von MimicGen und mittlerweile in die Synthetic-Data-Blueprints von NVIDIAs Isaac GR00T eingeflossen, nimmt eine kleine Handvoll menschlicher Demonstrationen, segmentiert sie in objektzentrierte Bewegungen und spielt diese Segmente, angepasst an neue Objektposen und Layouts, erneut ab. Aus einem Dutzend Demos werden Hunderte, jede mit einem exakten Aktions-Label, weil die Bewegung geometrisch transformiert und nicht geraten wird.

Die Ansichtssynthese tut dasselbe für die Kamera. Rendert man die erfasste Szene durch eine neuronale Rekonstruktion, einen NeRF oder einen 3D Gaussian Splat, so lässt sich die Demonstration aus Blickpunkten erzeugen, die keine reale Kamera je eingenommen hat, und man erkauft dem Modell Blickpunkt-Invarianz ohne eine zweite Erfassung. Beide sind mächtig, und beide erben dieselbe Annahme: dass die aufgezeichnete Interaktion unter der Transformation weiterhin gilt. Das ist bei einem starren Pick-and-Place unbedenklich, wo das Verschieben der Box um dreißig Zentimeter am Kontakt wenig ändert. Es bricht still in dem Augenblick, in dem sich das Objekt verformt, wegrutscht oder anders Widerstand leistet als in der einen Interaktion, die man tatsächlich aufgezeichnet hat.

Was Augmentation nicht vortäuschen kann

Jede der obigen Methoden ist eine Funktion von Daten, die man bereits besitzt. Das ist der ganze Sinn, und es ist zugleich die Obergrenze. Augmentation kann keine Information hinzufügen, die von vornherein nie erfasst wurde. RGB-Pixel tragen keinen Kraftmesswert, deshalb bringt kein noch so intensives Umfärben die drei Newton Greifkraft hervor, die ein Glas am Rutschen hinderte. Ein Austausch des Hintergrunds ändert das Erscheinungsbild, nicht den Reibungskoeffizienten. Das Wiederabspielen einer Demonstration, in der eine starre Box gegriffen wird, lehrt nichts über das Schließen eines weichen Beutels, denn das Kontaktereignis, das beide unterscheidet, war nie in der Quellaufzeichnung.

Das deckt sich sauber mit dem, was das Fachgebiet über Vielfalt gelernt hat. Das Toyota Research Institute stellte beim Bau seiner Large Behavior Models fest, dass die Demonstrationen, die eine Policy tatsächlich verbesserten, jene waren, die Bedingungen abdeckten, die sie nie gesehen hatte. Augmentation deckt die Achsen ab, die Funktionen des Erscheinungsbilds sind: Licht, Hintergrund, Kamerawinkel. Sie deckt nicht die Achsen ab, die Funktionen der Physik sind: Kontakt, Verformung, Masse, Reibung, eine wahrhaft neue Objektinteraktion. Diese bleiben nur einem Sensor sichtbar, der zugegen war, während eine echte Hand die echte Aufgabe verrichtete.

Augmentation vervielfacht, was man bereits erfasst hat. Sie kann keine Kraft aufzeichnen, die man nie gemessen, und keinen Kontakt, den man nie hergestellt hat. Für die muss man noch immer hingehen und anfassen.

Wie man das Augmentationsbudget einsetzt

Augmentation als Budget statt als Schalter zu behandeln, macht die Entscheidungen offensichtlich. Einige Regeln bewähren sich über Teams hinweg:

• Augmentieren Sie das Erscheinungsbild aggressiv. Crops, Farbe und generative Hintergrundwechsel sind nahezu kostenlos und greifen die häufigste Ursache für Leistungseinbußen vom Labor ins Feld an. Es gibt wenig Grund, hier zu geizen.
• Augmentieren Sie Trajektorien, um Zurückfinden zu lehren, nicht um Fähigkeiten zu erfinden. Rauschinjektion und korrigierendes Neu-Annotieren lohnen sich genau rund um den demonstrierten Pfad, wo die Abweichung klein und die richtige Aktion bestimmbar ist.
• Nutzen Sie Replay und Ansichtssynthese für die geometrische Abdeckung starrer Aufgaben. Sie sind hervorragende Multiplikatoren, wenn der Kontakt einfach ist und die Annahme hält, und irreführend, wenn nicht.
• Setzen Sie echte Erfassung für Kontakt, Kraft und neue Objektinteraktionen ein. Genau das sind die Dinge, die keine Transformation synthetisieren kann, und deshalb rechtfertigen hier die teuren, auf dem Embodiment erfassten, multimodalen Daten ihre Kosten. Programme wie DROID existieren, weil diese Erfassung wirklich schwer ist, und Augmentation senkt, wie viel davon man braucht, ohne je bei null anzukommen.

Nichts davon ist ein Argument gegen Augmentation. Es ist ein Argument dafür, zu wissen, welches Ihrer beiden Probleme sie löst. Scheitert eine Policy, weil sich das Licht geändert hat, dann augmentieren Sie, und die Behebung ist günstig. Scheitert sie, weil sie auf eine Kraft traf, die ihr nie gezeigt wurde, wird kein Crop, kein Umfärben und kein Replay sie retten. Dieses Scheitern wurde zum Zeitpunkt der Erfassung entschieden, in der physischen Welt, dadurch, ob ein Sensor da war, um sie zu spüren.