Imitationslernen vs. Reinforcement Learning für Manipulation

Sehen Sie zu, wie eine moderne Manipulations-Policy lernt, ein Hemd zu falten, und das Überraschende ist, wie wenig sie dafür zu sehen bekommt. Ein Teleoperator setzt ein Headset auf, führt die Roboterarme ein paar Dutzend Mal durch die Bewegung, und eine auf diesen Aufnahmen trainierte Policy beginnt, selbstständig zu falten. Verlangen Sie nun von einem Reinforcement-Learning-Agenten, dieselbe Fähigkeit auf derselben Hardware von Grund auf zu erlernen. Er braucht ein Belohnungssignal, tausende Versuche und eine Person oder eine Vorrichtung, die das Hemd nach jedem gescheiterten Versuch wieder glattstreicht. Dieselbe Aufgabe, eine ganz andere Rechnung.

Diese Lücke ist der stille Grund, warum die meisten Manipulations-Stacks im Jahr 2026 zuerst zu Imitation greifen und, wenn überhaupt, erst danach zu Reinforcement Learning. Es liegt nicht daran, dass Reinforcement Learning schwach wäre. Es liegt daran, dass Imitationslernen den beiden Dingen ausweicht, die RL auf physischen Robotern schmerzhaft machen: das händische Entwerfen einer dichten Belohnung für eine kontaktreiche Aufgabe und das Sammeln von Millionen Versuchen auf Hardware, die verschleißt, aus der Kalibrierung driftet und sich nicht selbst zurücksetzen kann.

Die nützliche Frage ist nicht, welche Methode abstrakt betrachtet die bessere ist. Sie lautet, wo jede von beiden ihren Aufwand rechtfertigt, und warum die stärksten Systeme von heute auf Imitation aufbauen und Reinforcement Learning nur als angeflanschten letzten Schliff hinzufügen.

Das Reset-Problem, und warum RL auf echten Robotern teuer ist

Reinforcement Learning braucht drei Dinge, die in einem Videospiel billig und auf einem Roboter teuer sind: eine Belohnungsfunktion, viel Interaktion und eine Möglichkeit, von vorn zu beginnen. In einem Simulator bekommen Sie alle drei gratis. Ein Humanoid kann vor dem Mittagessen hunderttausend Mal fallen, und die Szene springt augenblicklich in ihren Ausgangszustand zurück. Auf echter Hardware ist jeder Sturz Verschleiß, jeder Reset bedeutet, dass ein Mensch hinübergeht, um den Roboter wieder aufzustellen oder die Klötze neu zu verstreuen, und jede Belohnung muss mit einem Sensor gemessen werden, den man tatsächlich hat.

Das Belohnungsdesign ist die subtilere Falle. „Die Schraube eindrehen“ hat kein natürliches Skalar. Teams landen am Ende dabei, die Belohnung Term für Term zu formen: Abstand zum Ziel, Ausrichtung des Gewindes, eine Strafe für übermäßige Kraft, und die Policy nutzt bereitwillig jede Lücke in dieser Spezifikation aus. Kontaktreiche Aufgaben machen es schlimmer, weil die informative Belohnung oft erst ganz am Ende eintrifft, nach einer langen Abfolge präziser Bewegungen. Spärliche Belohnung plus langer Horizont ist genau das Regime, in dem modellfreies RL am wenigsten sample-effizient ist.

Simulation umgeht das Problem der Samplekosten, öffnet aber die Sim-to-Real-Lücke: Kontaktdynamik, Reibung und verformbare Objekte sind genau das, was Simulatoren am schlechtesten modellieren. Massiv parallele Simulation und aggressive Domänen-Randomisierung haben Fortbewegung zu einer echten RL-Erfolgsgeschichte gemacht, und Plattformen wie NVIDIAs Isaac-Stack existieren, um genau diese Pipeline voranzutreiben. Geschickte, kontaktintensive Manipulation hat länger gebraucht, um diese Lücke zu überwinden.

Was Imitation tatsächlich bringt

Imitationslernen tauscht die Belohnungsfunktion gegen Demonstrationen ein. Die älteste Form, Behavioral Cloning, betreibt schlicht überwachtes Lernen von Beobachtungen zu Aktionen. Ihre klassische Schwäche ist der sich aufsummierende Fehler: Eine kleine Abweichung trägt den Roboter in Zustände, die keine Demonstration abgedeckt hat, und die Fehler schaukeln sich hoch. Jahrelang machte das reines Cloning brüchig.

Die jüngsten Fortschritte kommen genau daher, dass man dieses Problem behebt. Action Chunking, populär gemacht durch ALOHA und dessen ACT-Modell, sagt kurze Sequenzen von Aktionen statt einzelner Schritte voraus, was die Drift glättet. Diffusion-Policies, aus der Arbeitslinie des Toyota Research Institute und Columbia, behandeln die Aktionserzeugung als Entrauschungsprozess und meistern multimodales Verhalten, also die Tatsache, dass es viele gültige Arten gibt, eine Tasse aufzunehmen, ohne sie zu einem Brei zu verrühren. Diese Methoden lernen aus zehn bis wenigen Hundert Demonstrationen pro Aufgabe brauchbare Fähigkeiten, nicht aus Millionen.

Skalierung hob dann die Obergrenze an. Cross-Embodiment-Datensätze bündelten Demonstrationen aus vielen Laboren: Open X-Embodiment sammelte in der Größenordnung von einer Million realen Trajektorien über 22 Robotertypen hinweg, und DROID fügte rund 76.000 teleoperierte Trajektorien hinzu, die in freier Wildbahn über viele Szenen hinweg erfasst wurden. Vision-Language-Action-Modelle, die auf dieser Art von Daten trainiert wurden, darunter Physical Intelligences pi-0, NVIDIAs GR00T und DeepMinds Gemini Robotics, erben semantische Generalisierung aus dem Web-Pretraining und motorische Verankerung aus den Demonstrationen. Keines von ihnen hat gelernt, primär durch Versuch und Irrtum zu manipulieren.

Reinforcement Learning beantwortet eine Frage, die Imitation nicht beantworten kann: was zu tun ist, wenn es keinen Experten zum Nachahmen gibt. Auf echter Hardware ist der Preis, diese Frage zu stellen, bereits die ganze Geschichte.

Wo Reinforcement Learning weiterhin gewinnt

Imitation hat eine harte Obergrenze: Eine geklonte Policy ist durch die Menschen begrenzt, die sie demonstriert haben. Wenn eine Aufgabe Verhalten verlangt, das kein Mensch gut teleoperieren kann, oder eine Präzision, die die menschliche Geduld übersteigt, zahlt sich RL aus.

• Hochpräzises, kontaktreiches Einstecken. Stift-in-Loch-Montage, das Zusammenstecken von Steckverbindern und Umgreifen in der Hand verlangen Kräfte und Mikrokorrekturen, die schwer zu demonstrieren, aber leicht mit einem Erfolgsdetektor zu bewerten sind. RL-Feintuning schließt hier routinemäßig die letzten paar Prozent der Erfolgsquote.
• Dynamische Steuerung und Ganzkörperkontrolle. Fortbewegung, Gleichgewichts-Wiederherstellung und Werfen sind die eindeutigsten RL-Erfolge, weshalb sich die Fortbewegungsteams bei Boston Dynamics und Agility darauf stützen. Diese Verhaltensweisen sind physikalisch konsistent genug, um in der Simulation trainiert und übertragen zu werden.
• Übermenschliche Optimierung. Wenn Sie die schnellste, glatteste oder kraftsparendste Bewegung wollen statt einer menschenähnlichen, schlägt ein Optimierungsziel eine Demonstration.

Das praktische Muster ist selten reines RL. Es ist residuales oder feinjustierendes RL: Man startet mit einer Imitationspolicy und lässt RL sie dann innerhalb eines engen Rahmens korrigieren, mit einem gelernten oder skriptbasierten Erfolgssignal statt einer von Hand geformten dichten Belohnung. So behält man die Sample-Effizienz und Sicherheit der Imitation und setzt teure Interaktion mit der realen Welt nur dort ein, wo sie die Kennzahl tatsächlich bewegt.

Zwei Methoden im Vergleich

Der Stack, den die meisten Teams tatsächlich ausliefern

Betrachtet man die jüngsten Veröffentlichungen, zeigt sich ein gemeinsames Muster. Eine große Policy wird auf Demonstrationen vortrainiert, teleoperierte Roboterdaten plus, zunehmend, menschliches Video, dann mit einer moderaten Zahl an Demos auf dem eigentlichen Roboter an ein bestimmtes Gerät und eine bestimmte Aufgabe angepasst, und erst danach, falls die letzten paar Prozent zählen, mit Reinforcement Learning gegen einen Erfolgsdetektor feingeschliffen. Toyotas Large Behavior Models und die oben genannten VLA-Foundation-Modelle folgen allesamt dem Prinzip „Imitation zuerst“; RL ist ein Skalpell, nicht der Motor.

Der Grund ist ebenso ökonomisch wie technisch. Demonstrationen sind eine fixe, vorhersehbare Kostengröße, die mit Personal und Rigs skaliert. RL auf echten Robotern ist eine variable Kostengröße, die mit genau dem skaliert, was man am wenigsten ausgeben möchte: Hardware-Stunden und Reset-Arbeit. Steht eine Demonstration zur Verfügung, ist sie fast immer die günstigere Variante.

Die ehrliche Einordnung lautet also nicht Imitation gegen Reinforcement Learning. Sie lautet: Imitation als der Standardweg, der günstig zu einer kompetenten Policy führt, und Reinforcement Learning als das gezielte Werkzeug, das über das hinausgeht, was Menschen demonstrieren können. Die Teams, die fähige Manipulation ausliefern, wählen keine Seite. Sie wählen eine Reihenfolge: erst kopieren, dann optimieren, und die knappe Interaktion mit der realen Welt nur dort einsetzen, wo Kopieren an seine Grenzen stößt.