Diffusion Policy erklärt: generative Robotersteuerung

Stellen Sie sich einen Greifer vor, der nach einer Tasse greifen muss, die mitten auf einer vollgestellten Arbeitsplatte steht. Zwei Demonstrationen haben ihm die Aufgabe beigebracht: Eine schwenkt links um die Tasse herum, die andere rechts. Beide sind korrekt. Trainieren Sie nun ein Netzwerk darauf, sie durch Minimierung des quadratischen Fehlers zu imitieren, und beobachten Sie, was es lernt, den Mittelwert der beiden Bahnen, eine gerade Linie, die genau durch die Tasse pflügt, die es eigentlich vermeiden sollte.

Dieser Fehler hat einen Namen, Mode Averaging, und jahrelang begrenzte er still und leise, wie gut Behavioral Cloning bei realer Manipulation funktionierte. Die Lösung, die sich durchsetzte, kam überhaupt nicht aus der Robotik. Sie kam aus der Bildgenerierung. Ein Diffusionsmodell, dieselbe Methodenklasse, die hinter Text-zu-Bild-Systemen steckt, erweist sich als ein ungewöhnlich guter Weg, die Menge der Aktionen darzustellen, die ein Roboter vernünftigerweise ausführen könnte. Zwischen 2023 und 2026 wurde es von einem cleveren Paper zum Standard-Aktionskopf in weiten Teilen des Feldes: Toyota Research Institute baut seine Large Behavior Models darauf auf, Physical Intelligence liefert eine Flow-Matching-Variante in π0 aus, und NVIDIAs GR00T-Foundation-Models erzeugen Bewegung auf dieselbe Weise.

Dieser Beitrag erklärt, warum ein generatives Modell, statt eines einfachen Regressors oder Klassifikators, zur natürlichen Wahl für multimodale Roboteraktionen wurde, wie eine Diffusions-Policy unter der Haube funktioniert, und was sie stillschweigend von den Daten verlangt, mit denen sie trainiert wird.

Das Problem, das einfache Regression nicht lösen kann

Standardmäßiges Behavioral Cloning behandelt Steuerung als Regression: Gegeben die aktuellen Kamerabilder und den Roboterzustand, wird die nächste Aktion vorhergesagt, und das Training schiebt die Vorhersage mit einem Mean-Squared-Error-Verlust in Richtung der demonstrierten Aktion. In diesem Verlust steckt eine verborgene Annahme. Er unterstellt, dass die richtige Antwort ein einzelner Punkt ist und dass die Nähe zu diesem Punkt im euklidischen Sinne immer gut ist.

Manipulation bricht beide Annahmen. Menschliche Demonstrationen sind reichhaltig multimodal: Es gibt viele gute Wege, eine Tasse zu greifen, um Hindernisse herumzumanövrieren oder ein Teil neu auszurichten, und diese Wege liegen im Aktionsraum nicht nah beieinander. Mittelt man zwei gültige Trajektorien, erhält man oft eine ungültige. Eine Policy mit gaußschem Kopf, die gezwungen ist, eine Aktion zu benennen, kollabiert entweder auf den Mittelwert oder springt zwischen den Modi hin und her. Die Diskretisierung des Aktionsraums und die autoregressive Vorhersage von Tokens, der Ansatz von RT-1 und OpenVLA, umgeht das Mitteln, zahlt dafür aber mit der Sequenzlänge und tut sich schwer mit feiner kontinuierlicher Steuerung.

Eine generative Policy stellt die Frage neu. Statt „Was ist die eine beste Aktion" modelliert sie „Wie sieht die Verteilung guter Aktionen aus" und zieht dann eine Stichprobe daraus. Sie samplet den linken oder den rechten Pfad, jeweils eine saubere, in sich stimmige Trajektorie, aber niemals die verheerende Mischung aus beiden.

Regression verlangt von einer Policy, die eine beste Aktion zu benennen. Generation verlangt von ihr, den Raum der guten Aktionen zu beschreiben. Kontaktreiche Manipulation lebt in der Lücke zwischen diesen beiden Fragen.

Wie eine Diffusions-Policy tatsächlich funktioniert

Eine Diffusions-Policy übernimmt das Entrauschungsrezept vollständig. Man startet mit einem Block aus reinem gaußschem Rauschen, geformt wie eine kurze Sequenz zukünftiger Aktionen. Ein neuronales Netz, konditioniert auf die jüngsten Beobachtungen, sagt vorher, wie dieses Rauschen ein Stück näher an eine plausible Aktionssequenz herangeschoben werden soll. Wiederholt man diesen Schub über eine feste Anzahl von Schritten, löst sich das Rauschen in eine kohärente Trajektorie auf. Das Training läuft umgekehrt: Man nimmt einen real demonstrierten Aktionsblock, fügt Rauschen auf einem zufälligen Niveau hinzu und bringt dem Netz bei, das Rauschen vorherzusagen, das es entfernen muss.

Zwei Designentscheidungen leisten den Großteil der Arbeit. Erstens sagt die Policy einen Aktionsblock (Action Chunk) vorher, eine Sequenz der nächsten etwa zwölf Zeitschritte, nicht einen einzelnen Schritt. Chunking macht die Zielverteilung glatter, kodiert kurzfristige Absicht und reduziert den sich aufschaukelnden Fehler, der schrittweisem Cloning zusetzt. Zweitens läuft sie mit Receding-Horizon-Steuerung: Sie sagt einen Block vorher, führt nur die ersten paar Aktionen aus und plant dann anhand neuer Beobachtungen neu. Die Policy bleibt reaktiv und verpflichtet sich zugleich auf lokal konsistente Bewegung. Die ursprüngliche ACT-Arbeit auf dem ALOHA-Aufbau machte Chunking populär; Diffusion ergänzte das generative Rückgrat, das die Blöcke erst richtig multimodal machte.

Diffusion, Flow Matching und das Rennen um Geschwindigkeit

Die sichtbare Front hat sich weitgehend von klassischer Diffusion zu Flow Matching verschoben, einem eng verwandten generativen Rezept, das ein direktes Geschwindigkeitsfeld vom Rauschen zu den Daten lernt statt einer langen stochastischen Entrauschungskette. Praktisch kann Flow Matching einen guten Aktionsblock in einer Handvoll Integrationsschritten erzeugen statt in Dutzenden von Entrauschungsschritten, was enorm ins Gewicht fällt, wenn das Modell innerhalb einer Regelschleife laufen muss. Physical Intelligence kombiniert in π0 ein Vision-Language-Rückgrat mit einem „Action Expert" auf Flow-Matching-Basis, der hochfrequente kontinuierliche Befehle ausgibt; NVIDIAs GR00T N1 verwendet ein Diffusions-Transformer-Aktionsmodul nach einer ähnlichen Vorlage. Das Muster ist inzwischen Standard: ein großes multimodales Modell für Wahrnehmung und Semantik, ein generativer Kopf für die feine, schnelle, multimodale Bewegung.

Was es kostet, und die Tricks, die die Kosten senken

Generation ist nicht umsonst. Jeder gesampelte Aktionsblock benötigt mehrere Forward Passes durch das Aktionsnetzwerk, weshalb naive Diffusions-Policies ihre Regelschleifen langsam laufen ließen und weshalb reale Einsätze stark auf Beschleunigung setzen. Teams greifen zu DDIM-artigen Samplern, die die Schrittzahl senken, zu Distillation- und Consistency-artigen Zielfunktionen, die auf ein oder zwei Schritte hindrängen, und zu Flow Matching, gerade weil es weniger Funktionsauswertungen benötigt. Auch die Receding-Horizon-Ausführung hilft: Ein Block aus einem Dutzend Aktionen amortisiert eine Sampling-Runde über viele Regelzyklen hinweg, sodass eine Policy mit wenigen Hertz samplen kann, während sie die Motoren mit einer deutlich höheren Rate ansteuert. Die folgende Tabelle skizziert die Landschaft der Aktionsdarstellungen und wo Diffusion darin steht.

Warum sich der Engpass zu den Daten verschoben hat

Hier liegt der Teil, der meist unterschätzt wird. Eine Diffusions-Policy kann nur so multimodal sein wie die Demonstrationen, mit denen sie gefüttert wird. Wenn jeder Operator in Ihrem Datensatz die Tasse auf derselben Seite umrundet, hat die „Verteilung guter Aktionen" genau einen Modus, und die generative Maschinerie hat nichts zu generieren. Die Stärke der Methode, die Streuung menschlichen Verhaltens getreu zu modellieren, verwandelt sich direkt in einen Appetit auf Daten, die diese Streuung tatsächlich enthalten: viele Operatoren, viele Objektanordnungen, viele Strategien, alles erfasst mit ausreichender Sensorik, um zu rekonstruieren, was Hände und Kontakte getan haben.

Deshalb orientieren sich die Fortschritte der letzten zwei Jahre ebenso sehr an Datensätzen wie an Architekturen. Open X-Embodiment bündelte Demonstrationen aus Dutzenden Robotern und Labors; DROID setzte auf Skalierung und Szenenvielfalt in freier Wildbahn; egozentrische Human-Video-Korpora wie Ego4D und Ego-Exo4D übertrugen dieselbe Logik auf menschliches Verhalten aus der Ich-Perspektive. Offene Implementierungen in Hugging Faces LeRobot machten es anschließend möglich, eine Diffusions-Policy auf diesen Daten in Tagen statt in Quartalen zu trainieren.

Wo uns das hinführt

Diffusion hat sich in der Robotersteuerung nicht durchgesetzt, weil sie gerade angesagt ist. Sie hat sich durchgesetzt, weil sie die richtige Frage beantwortet, einen Raum guter Aktionen zu beschreiben statt eine zu erraten, und weil kontaktreiche Manipulation bis in den Kern hinein multimodal ist. Die offenen Probleme sind heute unspektakulär und real: die Sampling-Kosten weiter senken, die Zuverlässigkeit nachweisen, die solche Policies brauchen, um das Labor zu verlassen, und vor allem sie mit Demonstrationen füttern, die vielfältig genug sind, um eine generative Modellierung zu rechtfertigen. Die Architektur ist nahezu ausgereift. Die Daten sind der Ort, an dem sich die Debatte der nächsten Jahre entscheiden wird.