Skill-Primitiven: Komplexe Aufgaben aus wiederverwendbaren Bausteinen aufbauen

Beobachten Sie, wie ein Mensch eine Tasse Kaffee zubereitet. Die gesamte Sequenz dauert etwa vier Minuten und umfasst Dutzende Mikro-Aktionen: nach einer Tasse greifen, ihre Ausrichtung anpassen, sie unter die Düse stellen, einen Knopf drücken, eine Milchpackung öffnen, eingießen und umrühren. Wer versucht, ein Ende-zu-Ende-Modell für Imitationslernen auf dieser gesamten Sequenz als einzelne Trajektorie zu trainieren, wird damit fast sicher scheitern. Die sich summierenden Fehler wachsen über einen Vier-Minuten-Horizont exponentiell an und führen zu dem, was Robotikforscher das Drift-Problem nennen.

Der Mensch dagegen nimmt keine einzige, durchgehende Vier-Minuten-Trajektorie wahr. Wir sehen eine Komposition aus diskreten, hochgradig wiederverwendbaren motorischen Routinen. In der modernen Physical AI nennen wir diese Skill-Primitiven. Indem wir das Roboterlernen um modulare Policies statt um monolithische Ende-zu-Ende-Trajektorien herum strukturieren, können wir die Menge an Demonstrationsdaten, die nötig ist, um humanoiden Robotern komplexe, mehrstufige Aufgaben beizubringen, drastisch reduzieren.

Der Multitask-Engpass: Warum Ende-zu-Ende-Ansätze scheitern

Ende-zu-Ende-Visuomotor-Language-Modelle (VLA) haben bei Aufgaben mit kurzem Zeithorizont eine beeindruckende Zero-Shot-Generalisierung gezeigt. Werden sie jedoch auf industrielle oder häusliche Arbeitsabläufe mit langem Zeithorizont angewendet, sinkt ihre Zuverlässigkeit rapide. Eine Policy mit 90% Erfolgsquote bei einzelnen Teilaufgaben erreicht nur noch ernüchternde 53%, wenn fünf dieser Teilaufgaben nacheinander verkettet werden.

Diese Fehlschläge sind vor allem auf die Summierung kleiner Ausführungsfehler zurückzuführen. Berechnet ein Roboter im ersten Schritt einen Griff leicht falsch, gerät er im zweiten Schritt außerhalb seiner Trainingsverteilung. Ohne einen Mechanismus, der zwischen den Phasen zurücksetzt, ausrichtet oder sauber überleitet, gerät der Roboter in einen Zustand dauerhafter Verwirrung. Die Branche erkennt zunehmend, dass monolithische Modelle für die physische Welt zu fragil sind, ein Befund, der sich auch in der jüngsten NVIDIA GEAR Lab research sowie in der Entwicklung generalisierter physikalischer Priors widerspiegelt.

Indem wir eine komplexe Aufgabe mit langem Zeithorizont in eine Bibliothek modularer Policies zerlegen, können wir spezialisierte Modelle auf konkrete Skill-Primitiven (etwa Greifen, Einführen oder Wischen) trainieren und einen übergeordneten Aufgabenplaner zu deren Orchestrierung einsetzen. Dieser von Unternehmen wie dem Physical Intelligence blog vertretene Ansatz macht es möglich, eine einzige „Greif“-Primitive über Hunderte unterschiedlicher übergeordneter Arbeitsabläufe hinweg wiederzuverwenden.

Modulare Policies verwandeln die exponentielle Komplexität robotischer Aufgaben mit langem Zeithorizont in ein lineares Problem der Skill-Komposition.

Die Skill-Schnittstelle definieren

Damit Skill-Primitiven innerhalb einer modularen Architektur funktionieren, müssen wir klare Schnittstellen definieren. Eine Skill-Primitive ist nicht bloß ein rohes motorisches Skript, sondern eine Closed-Loop-Policy, die sensomotorische Beobachtungen auf Aktionen abbildet und durch bestimmte Start- und Terminierungsbedingungen begrenzt ist. Diese Struktur ist entscheidend für die Integration mit übergeordneten Orchestratoren wie NVIDIA Isaac GR00T.

Um eine belastbare Skill-Bibliothek aufzubauen, ordnen wir die Primitiven drei unterschiedlichen funktionalen Ebenen zu. Diese Taxonomie stellt sicher, dass sich hochgradig semantisches Schlussfolgern sauber bis hinunter zur hochfrequenten Gelenksteuerung übersetzen lässt.

Jede dieser Kategorien erfordert einen eigenen Stil der Datenerfassung. Eine kontaktreiche Einführungsaufgabe etwa lässt sich nicht allein aus visuellen Demonstrationen erlernen; sie benötigt hochpräzise Kraft-Moment-Profile, um die feine Nachgiebigkeit zu erfassen, die nötig ist, um Oberflächen auszurichten, ohne sie zu beschädigen. Deshalb sind multimodale Datensätze wie der Open X-Embodiment-Datensatz so wertvoll: Sie aggregieren vielfältige Roboterverhalten über mehrere Sensormodalitäten hinweg.

Die Herausforderung der Komposition: Übergänge und Leitplanken

Der schwierigste Teil der modularen Robotik ist nicht das Training der einzelnen Skill-Primitiven, sondern die Steuerung der Übergänge zwischen ihnen. Beendet ein Roboter eine „Greif“-Primitive, ist sein Greifer aber leicht falsch ausgerichtet, kann die nachfolgende „Ablege“-Primitive sofort scheitern. Wie überbrücken wir diese Lücken?

In der Aufgabenkomposition gibt es zwei vorherrschende Denkrichtungen:

• Explizite Zustands-Leitplanken: Jede Skill-Primitive verfügt über einen Klassifikator, der bestimmt, ob der aktuelle Zustand innerhalb ihrer „Initiationsmenge“ liegt (der Menge von Zuständen, aus denen heraus der Erfolg des Skills garantiert ist). Liegt der Roboter außerhalb dieser Menge, wird eine Recovery-Policy ausgelöst.
• Latent-Space-Blending: Eine übergeordnete Policy erzeugt kontinuierliche Embeddings, die die Übergänge zwischen den Skills vermischen und so gleichmäßige, ununterbrochene Bewegungsprofile ohne abrupte Stopps ermöglichen.

Beide Ansätze erfordern ein tiefes Verständnis der physischen Grenzen jedes Skills. Das bedeutet: Wenn wir menschliche Demonstrationsdaten sammeln, können wir uns nicht nur auf erfolgreiche Ausführungen beschränken. Wir müssen auch die „Grenzen“ der Skills erfassen, einschließlich Recovery-Verhalten, Beinahe-Fehlschlägen und korrigierenden Anpassungen.

Was modulare Policies von der Datenebene verlangen

Der Übergang zu modularen Policies verändert grundlegend, was wir von robotischen Trainingsdaten verlangen müssen. Historisch haben sich Datensätze wie Ego4D auf passives, egozentrisches Video von Menschen bei alltäglichen Aufgaben konzentriert. Für das semantische Verständnis ist das zwar sehr wertvoll, doch passivem Video fehlt die feingranulare physische Telemetrie, die zum Training von Closed-Loop-Motorik-Skills nötig ist.

Um eine modulare Policy zu trainieren, benötigen wir Daten, die explizit um Skill-Grenzen herum strukturiert sind. Das heißt, jede Demonstration muss mit präzisen Start- und Endmarkierungen für jede Primitive annotiert sein, begleitet von hochfrequenten propriozeptiven Daten, taktilem Feedback und visuellen Perspektiven aus mehreren Winkeln. Ohne diese strukturierten Metadaten wird die Segmentierung einer Demonstration mit langem Zeithorizont in wiederverwendbare Primitiven zu einem unlösbaren Annotations-Engpass.

Fazit: Der Weg zur Generalisierung

Wir werden keine universell einsetzbaren humanoiden Roboter erreichen, indem wir immer größere monolithische Modelle auf unstrukturiertem Video trainieren. Die physische Welt ist zu komplex, und der Long Tail physischer Interaktionen ist zu weitläufig. Der Weg nach vorn liegt vielmehr darin, die Komposition wiederverwendbarer Skill-Primitiven zu beherrschen.

Indem wir robotische Fähigkeiten als modulare Bibliothek physischer Aktionen behandeln, können wir Systeme bauen, die sich leichter debuggen lassen, schneller trainieren und sich hochgradig an neue Umgebungen anpassen. Der Engpass liegt nicht mehr allein bei der Rechenleistung, sondern in unserer Fähigkeit, diese modularen Architekturen mit den hochstrukturierten, multimodalen Demonstrationsdaten aus der Ich-Perspektive zu versorgen, die sie benötigen, um die Lücke zwischen Simulation und Realität zu schließen.