LeRobot: eine Open-Source-Einstiegsrampe ins Robot Learning
Wie Hugging Faces LeRobot die Einstiegshürde ins Robot Learning senkte: ein gemeinsames Datenformat, Arme für unter 200 Dollar und feinabstimmbare Policies wie ACT und pi0.
Ein funktionierendes Robot-Learning-Setup bedeutete früher ein Labor, einen sechsstelligen Roboterarm und einen Doktoranden, der einen ROS-Stack am Laufen halten konnte. Im Jahr 2024 begann es, etwas Kleineres zu bedeuten: ein Paar 3D-gedruckter Arme auf einem Schreibtisch, die jeweils in der Größenordnung von hundert Dollar kosten, einen Laptop und ein paar Stunden, in denen man sich selbst beim Bewegen von Objekten aufzeichnet. Die Software, die das alles zusammenhält, ist LeRobot, Hugging Faces Open-Source-Bibliothek für Robot Learning in der realen Welt.
LeRobot hat weder Imitationslernen noch Diffusion Policies erfunden. Was das Projekt tat, war weniger glamourös und, man könnte argumentieren, nützlicher: Es standardisierte die Infrastruktur dahinter. Ein gemeinsames Datenformat, eine Reihe von Referenz-Policies, die man tatsächlich herunterladen und feinabstimmen kann, günstige Referenz-Hardware und eine Hosting-Schicht, die Roboter-Episoden so behandelt, wie der Hub es bereits mit Sprachmodellen tut. Das Ergebnis: Ein Student in Sofia und ein Labor in Stanford können Daten heute im selben Dateiformat austauschen.
Das ist die These dieses Beitrags. Die Hürde beim Robot Learning war nie nur der Algorithmus. Es war der Zugang: zu Hardware, zu vergleichbaren Daten und zu Baselines, die man reproduzieren konnte, ohne ein Paper per Reverse Engineering nachzubauen. Jedes dieser Probleme war früher ein eigenes Projekt für sich. LeRobot senkte alle drei Hürden auf einmal, und die Effekte zweiter Ordnung entfalten sich noch immer.
Was LeRobot tatsächlich ist
Entfernt man das Marketing, ist LeRobot drei Dinge in einem. Es ist eine PyTorch-Bibliothek mit Policy-Architekturen und Trainingsschleifen. Es ist ein Datensatzstandard, LeRobotDataset, der synchronisierte Kamerabilder, Gelenkzustände und Aktionen zusammen mit ihren Zeitstempeln speichert, wobei Video so effizient codiert wird, dass es sich von einem Laptop aus streamen lässt. Und es ist eine Reihe von Konventionen, um sowohl Datensätze als auch trainierte Checkpoints in den Hugging Face Hub zu laden, versioniert und herunterladbar wie jedes andere Modell.
Geleitet wird das Projekt von Ingenieuren, die aus der industriellen Humanoid-Entwicklung kommen, und das zeigt sich in den Prioritäten. Die Bibliothek liefert durchgängige Rezepte: Teleoperations-Episoden aufzeichnen, das Video codieren, eine Policy trainieren und sie auf derselben Hardware wiedergeben. An diesem Ablauf ist nichts neue Forschung. Früher war das alles für jedes Labor eine Sonderanfertigung. Der Punkt ist, ihn langweilig und gemeinsam nutzbar zu machen.
Die Hardware-Einstiegsrampe
Der günstigste Einstieg in das Feld ist heute ein gedruckter Arm. LeRobots Referenzplattformen, der SO-100 und sein Nachfolger, der SO-101, sind kostengünstige Leader-Follower-Arme, angetrieben von Hobby-Servos. Man bewegt einen Leader-Arm von Hand, ein Follower-Arm spiegelt die Bewegung, und die Software protokolliert die Gelenktrajektorien und den Kamerastream als Trainings-Episode. ALOHA und Mobile ALOHA liegen eine Stufe darüber, für beidhändige Arbeit.
Die Kosten sind die eigentliche Geschichte. Ein Follower-Arm kostet in Bauteilen in der Größenordnung von hundert bis zweihundert Dollar, ein bis zwei Größenordnungen unter einem Forschungsmanipulator. Das macht ihn nicht zu einem guten Industrieroboter. Es macht ihn zu einem guten Lehrer: genug Freiheitsgrade und Wiederholgenauigkeit, um echte Demonstrationen zu sammeln, günstig genug, dass ein Klassenzimmer gleich zehn davon besitzen kann. Weil Stückliste und Firmware öffentlich sind, ist der Aufbau reproduzierbar, sodass ein in einem Raum aufgezeichneter Datensatz in einem anderen wiedergegeben und erweitert werden kann.
Policies, die man feinabstimmen kann, statt nur über sie zu lesen
Im Model Zoo der Bibliothek trifft die Einstiegsrampe auf die Forschungsfront. Mehrere Architekturen, die in aktuellen Papers auftauchen, sind als lauffähige Baselines verfügbar, und mindestens ein produktionsreifes Vision-Language-Action-Modell wurde für das Ökosystem geöffnet: Physical Intelligence veröffentlichte π0, ein Flow-Matching-VLA, das portiert wurde, sodass man es an eigenen Episoden feinabstimmen kann. Hugging Faces eigenes SmolVLA geht den umgekehrten Weg: ein bewusst kleines VLA, gedacht für den Betrieb auf bescheidener Hardware.
| Policy | Lernansatz | Passt, wenn |
|---|---|---|
| ACT | Überwachtes Imitationslernen mit Action Chunking | Kurze, präzise Manipulation aus einigen Dutzend Demonstrationen |
| Diffusion Policy | Denoising Diffusion über Aktionssequenzen | Multimodale, kontaktreiche Aufgaben, bei denen mehrere Bewegungen gültig sind |
| VQ-BeT | Tokenisierter Behavior Transformer | Diskrete Settings mit mehreren Verhaltensweisen |
| TD-MPC | Modellbasiertes Reinforcement Learning | Die Aufgabe lässt sich simulieren oder zurücksetzen, und Sample-Effizienz ist gefragt |
| π0 / SmolVLA | Vortrainiertes Vision-Language-Action-Modell | Sprachlich konditionierte Aufgaben; Feinabstimmung statt Training von Grund auf |
Der praktische Wandel führt vom Training von Grund auf zur Feinabstimmung. Ein VLA, das auf einem großen roboterübergreifenden Korpus vortrainiert wurde, liefert einen Warmstart, und einige Hundert eigene Episoden spezialisieren es weiter. Das ist das Rezept, das Sprachmodelle zugänglich gemacht hat, übertragen auf Gelenke und Greifer.
Die stille Innovation ist das Datenformat
Fragt man erfahrene Robotik-Ingenieure, was vor 2024 am meisten Zeit gekostet hat, lautet eine häufige Antwort: Data Wrangling. Jedes Labor protokollierte Demonstrationen anders: eigene Zeitstempel-Konventionen, eigene Kamerakalibrierung, eigene Art, Aktionen zu speichern. Eine Policy, die auf den Daten eines Labors trainiert wurde, konnte die eines anderen Labors ohne einen maßgeschneiderten Adapter nicht lesen. LeRobotDataset setzt genau hier an: ein Schema, versioniert auf dem Hub, mit einem wachsenden Katalog an Community-Datensätzen, die sich mit einer einzigen Zeile Code laden lassen.
Es harmoniert außerdem gut mit den großen Aggregationen, auf die sich das Feld inzwischen stützt. Open X-Embodiment bündelte Demonstrationen aus Dutzenden Robotern, um zu zeigen, dass Training über verschiedene Embodiments hinweg hilft, und DROID trug rund 76.000 teleoperierte Trajektorien bei, gesammelt in vielen Gebäuden und Szenen. Ein gemeinsames Format ist es, das es Neueinsteigern erlaubt, ihre hundert Schreibtisch-Episoden mit Korpora wie diesen zu kombinieren, statt sich für eines entscheiden zu müssen.
Ein gemeinsames Datensatzformat leistet für die Robotik, was ein gemeinsames Bildformat für die Computer Vision geleistet hat: Fortschritt kumuliert sich, statt bei jedem Labor von vorn zu beginnen.
Wo die Einstiegsrampe endet
Nichts davon löst die schwierigen Probleme. Eine Policy, die eine Aufgabe unter dem Küchenlicht mit dem eigenen SO-101 perfekt beherrscht, scheitert oft an einem neuen Hintergrund, einem neuen Objektexemplar oder einer anderen Tageszeit; Generalisierung bleibt die zentrale offene Frage. Die Evaluation ist nach wie vor größtenteils manuell und über verschiedene Aufbauten hinweg schwer vergleichbar. Und die kostengünstigen Arme vermitteln feine Manipulation an den Extremen von Kraft und Geschwindigkeit nur schlecht.
Vor allem aber lassen sich teleoperierte Roboterdaten nur schwer skalieren. Jede Episode braucht einen Menschen, der einen Roboter in Echtzeit steuert. Deshalb greifen die führenden Labore auf andere Quellen zurück: Simulation, wie in NVIDIAs Isaac GR00T-Stack, und menschliches Videomaterial, bei dem egozentrische Datensätze wie Ego-Exo4D Menschen bei Aufgaben aus der Ich-Perspektive festhalten, ganz ohne dass ein Roboter beteiligt ist.
Klein anfangen, alles veröffentlichen
Der ehrliche Rat für alle Neugierigen ist wenig glamourös: einen Arm kaufen oder drucken, hundert Episoden einer einzigen Aufgabe aufzeichnen, ACT oder ein kleines VLA feinabstimmen und sowohl den Datensatz als auch den Checkpoint auf den Hub laden. Man lernt mehr aus einer einzigen gescheiterten Policy in der realen Welt als aus einem Monat Lesen. Dass dieser Weg überhaupt existiert, liegt daran, dass LeRobot einen Haufen laborspezifischer Rituale in gemeinsame Infrastruktur verwandelt hat. Die Modelle werden sich weiter ändern. Die Einstiegsrampe ist es, die es leicht macht, das nächste auszuprobieren.