Datenqualität vs. Datenmenge im Roboterlernen

Eine Manipulations-Policy faltet im Labor ein blaues Handtuch mit einer Erfolgsquote, die aussieht wie ein fertiges Produkt. Tauschen Sie das Handtuch gegen ein rotes aus, schieben Sie den Tisch in die Nachmittagssonne, und dieselbe Policy gerät ins Stocken, greift nach einer Falte, die nicht mehr dort liegt, wo sie sie erwartet. Der erste Instinkt des Teams ist der naheliegende: mehr Demonstrationen zum Handtuchfalten sammeln. Das hilft selten so viel, wie die Stundenzahl vermuten lässt.

Das ist derzeit das zentrale Rätsel des Roboterlernens. Echte Roboterdaten sind teuer, teleoperierte Daten ganz besonders, und das Feld ist drei Jahre lang davon ausgegangen, die Lösung sei einfach mehr davon. Dann stieß das Toyota Research Institute beim Aufbau seiner Large Behavior Models immer wieder auf ein anderes Ergebnis. Die Demonstrationen, die den Ausschlag gaben, waren nicht zusätzliche Wiederholungen einer Aufgabe, die das Modell bereits beherrschte. Es waren Demonstrationen, die Bedingungen abdeckten, die das Modell noch nie gesehen hatte. Abdeckung, nicht rohe Stundenzahl.

Die Unterscheidung klingt akademisch, bis man sie beziffert. Tausend nahezu identische Demonstrationen und tausend Demonstrationen, die neue Objekte, neue Beleuchtung, neue Blickwinkel und Recovery-Verhalten abdecken, kosten in der Erfassung etwa gleich viel, kaufen aber sehr unterschiedliche Modelle. Dieser Beitrag legt dar, warum das so ist, was die Diversitäts-Erkenntnisse tatsächlich aussagen, und wie man einen Datensatz auf Abdeckung liest statt auf seine plakative Stundenzahl.

Die Lücke zwischen Labor und Küche ist ein Abdeckungsproblem

Die meisten Manipulations-Policies werden heute durch Imitation trainiert: Ein Mensch teleoperiert, der Roboter lernt, das nachzumachen. Imitation Learning hat einen bekannten Fehlermodus. Die Policy ist nur auf der Verteilung der Zustände zuverlässig, die sie während des Trainings gesehen hat, und sobald der Roboter in einen Zustand abdriftet, den keine Demonstration abgedeckt hat, summieren sich ihre Fehler. Ein kleiner Fehlgriff schiebt die Szene in unbekanntes Terrain, die nächste Aktion fällt etwas schlechter aus, und nach wenigen Schritten hat die Trajektorie die Trainingsverteilung vollständig verlassen.

Weitere Demonstrationen einer Aufgabe, die das Modell bereits löst, bringen dafür wenig. Sie vertiefen einen Peak, den die Policy schon gefunden hat, schärfen das Verhalten auf Zuständen, die sie ohnehin schon beherrscht, ohne den Bereich der Zustände zu erweitern, aus denen sie sich erholen kann. Was tatsächlich hilft, ist Support: Demonstrationen, die genau die Teile des Zustandsraums berühren, in denen die Policy derzeit nichts zum Nachahmen hat. Deshalb kann ein rotes Handtuch unter neuem Licht eine Policy zum Scheitern bringen, die blaue Handtücher perfekt faltet. Das Versagen ist kein Falt-Versagen. Es ist eine Abdeckungslücke.

Was die Diversitäts-Erkenntnisse tatsächlich aussagen

Die Arbeit von TRI an den Large Behavior Models hat einen Punkt geschärft, den die Open X-Embodiment-Kollaboration bereits angedeutet hatte: Diverse Daten über viele Aufgaben, ja sogar viele Roboterkörper hinweg zu poolen, verbessert die Leistung auf einer einzelnen Aufgabe tendenziell, statt sie zu verwässern. Die auf den gepoolten Open-X-Embodiment-Daten trainierten RT-X-Modelle zeigten positiven Transfer: Eine Policy, die auf vielen Embodiments trainiert wurde, schlug dieselbe Policy, die nur auf den eigenen Daten des Zielroboters trainiert wurde. Fachfremde Aufgaben vermitteln trotzdem gemeinsame Struktur: wie sich Objekte bewegen, wie sich Kontakt auflöst, wie eine Greifer-Okklusion aussieht.

Die Kehrseite ist eine Kurve abnehmender Erträge, die die meisten Teams unterschätzen. Frühe Demonstrationen einer Aufgabe sind sehr viel wert. Hat man erst einmal ein paar hundert saubere Erfolge auf demselben Aufbau, lehrt jede weitere das Modell kaum noch etwas, was es nicht schon wusste. Dasselbe Budget hätte, für ein neues Objekt, einen neuen Raum oder einen neuen Fehlermodus ausgegeben, weit mehr Fähigkeit gekauft.

Die marginale Demonstration ist genau so viel wert, wie sie dem Modell beibringt, was die früheren Demonstrationen nicht beigebracht haben. Ab einem bestimmten Punkt lehrt eine weitere Kopie einer bereits gelösten Aufgabe fast nichts mehr.

Datensätze lesen: Stunden versus Abdeckung

Sobald man Abdeckung statt Stunden zählt, ordnen sich öffentliche Datensätze anders. Ein großes Einzelaufgaben-Log kann weniger nutzbare Information enthalten als eine kleinere Sammlung, die bewusst über Szenen, Objekte und Blickwinkel gestreut ist. Die folgende Tabelle listet die berichteten Zahlen für mehrere weit verbreitete Datensätze auf, ausgewählt, um zu zeigen, wie unterschiedlich die Designentscheidungen ausfallen.

Beachten Sie, was die letzten beiden Zeilen sind: menschliches Video, keine Roboter-Logs. Datensätze wie Ego4D und Ego-Exo4D enthalten überhaupt keine Roboteraktionen, decken aber eine Bandbreite an Objekten, Händen und Umgebungen ab, die kein Teleoperationsprogramm kostenmäßig erreichen kann. Ihre Rolle in einem Trainingsmix ist genau das Abdeckungsargument in anderer Form: billige Breite, die teure, präzise Roboterdemonstrationen ergänzt.

Wo sich die nützlichen Informationsfragmente verbergen

„Diversität“ ist ein zu grobes Wort für das, worauf es eigentlich ankommt. Ein paar konkrete Achsen tragen den Großteil des Werts:

• Objekte und Szenen: neue Instanzen, Unordnung, Distraktoren und Hintergründe, die die Policy noch nie ignorieren musste.
• Blickwinkel und Embodiment: unterschiedliche Kamerapositionen und Roboterkörper, die das Modell zwingen zu lernen, was invariant ist, statt sich eine einzelne Geometrie einzuprägen.
• Beleuchtung und Tageszeit: die billigste Diversität, die sich erfassen lässt, und eine der häufigsten Ursachen für eine Regression vom Labor ins Feld.
• Fehler und Recovery: Demonstrationen, die von einem Fehler ausgehen und zu einem guten Zustand zurückkehren. Sie lehren die Policy das eine, was saubere Erfolge nicht können: wie man nach dem Abdriften auf die Verteilung zurückfindet.

Recovery-Daten sind von den vieren am stärksten unterschätzt. Physical Intelligence und andere Teams, die generalistische Policies bauen, argumentieren, dass Robustheit weniger aus makellosen Demonstrationen entsteht als aus Daten, die dem Roboter zeigen, wie er falsch liegen und sich selbst korrigieren kann. Ein Datensatz nur aus perfekten Durchläufen hat, in gewissem Sinne, ein Loch genau in dem Bereich, in dem eingesetzte Roboter ihre schwierigsten Sekunden verbringen.

Auch Diversität hat eine Kostenfunktion

Nichts davon bedeutet Entropie um ihrer selbst willen. Man kann nicht beliebige Daten in den Mix schütten und Fortschritt erwarten. Falsch annotierte Trajektorien, schlampige Teleoperation und Demonstrationen aus einem Embodiment, das zu weit vom Ziel entfernt ist, können schneller Rauschen als Signal hinzufügen. Diversität und Qualität sind keine Gegensätze, sie sind Verbündete, und das, wogegen sich beide richten, sind rohe Stunden nahezu duplizierter Daten. Das eigentliche Ziel ist die Abdeckung der Bedingungen, denen der Roboter tatsächlich begegnen wird, sauber gesampelt, ehrlich annotiert und zugunsten des Long Tail statt der leichten Mitte gewichtet.

Das rahmt das Erfassungsproblem neu. Die Frage lautet nicht „wie viele Stunden haben wir geloggt“, sondern „welche Ausschnitte der Einsatzverteilung decken wir noch nicht ab, und was ist der günstigste ehrliche Weg, sie zu füllen“. Manchmal ist die Antwort mehr Roboter-Teleoperation. Oft ist es menschliche Demonstration, Simulation, oder einfach ein durchdachterer Sampling-Plan für Daten, die man ohnehin erfasst hätte.

Die Teams, die die fähigsten Roboter ausliefern, sind nicht die mit den größten rohen Logs. Es sind die, die für jede einzelne Fähigkeit sagen können, welcher Ausschnitt ihrer Daten sie gelehrt hat und welcher Ausschnitt noch fehlt. Zählen Sie Abdeckung, nicht Stunden.