Warum menschliche Demonstrationsdaten besser skalieren als skriptgesteuerte Daten

Ein Operator sitzt sechs Stunden lang hinter einem Humanoiden und sammelt vierhundert saubere Demonstrationen einer einzigen Aufgabe: die Schublade aufziehen, den Becher abstellen, die Schublade schließen. Jede Trajektorie ist gleichmäßig, annotiert und nahezu identisch. Ein paar Türen weiter öffnet ein ganzes Café voller Menschen den ganzen Vormittag über Schubladen: mit der Hüfte, mit zwei Fingern, mit der ganzen Faust, während sie ein Telefon in der Hand halten, noch einmal, nachdem die Schublade klemmt. Einer dieser beiden Datenströme sieht aus wie Trainingsdaten. Der andere sieht aus wie die Welt.

Dieser Kontrast ist das ganze Argument. Skriptgesteuerte Daten optimieren auf Sauberkeit und Kontrolle. Menschliche Demonstration optimiert auf Abdeckung. Auf der Skala, auf der Roboter-Policies beginnen zu generalisieren, ist Abdeckung die Eigenschaft, die sich auszahlt, und die öffentlichen Datensätze belegen das inzwischen mit Zahlen statt mit einem Bauchgefühl.

Zwei Definitionen, bevor es weitergeht. Mit skriptgesteuerten Daten meine ich Trajektorien, die eine Maschine oder ein eng begrenztes Teleoperationsprotokoll absichtlich erzeugt: bewegungsgeplantes Greifen und Ablegen, simulierte Durchläufe mit Domänen-Randomisierung, dieselbe Aufgabe wiederholt, bis der Puffer voll ist. Mit menschlichen Demonstrationsdaten meine ich Aufzeichnungen von Menschen, die Aufgaben tatsächlich ausführen, zunehmend aus einer Ich-Perspektive, also egozentrisch, erfasst. Der Unterschied liegt nicht in der Qualität pro Bild. Er liegt in der Form der Verteilung.

Was skriptgesteuerte Daten Ihnen tatsächlich bringen

Skriptgesteuerte und simulierte Daten haben echte Vorzüge, und es lohnt sich, dazu ehrlich zu sein. Sie sind günstig in der Massenproduktion, sobald die Pipeline einmal steht. Sie sind perfekt annotiert: Sie kennen die Aktion, den Kontakt und die Objektpose, weil Sie sie selbst erzeugt haben. Sie sind sicher, reproduzierbar und lassen sich leicht über die Klassen hinweg ausbalancieren. Für das Vortraining der motorischen Low-Level-Priors einer Policy ist das ein solides Fundament.

Das Versagensmuster ist struktureller Natur. Skriptgesteuerte Daten können nur die Variation abdecken, an die Sie beim Kodieren gedacht haben. Domänen-Randomisierung weitet die Verteilung, aber nur entlang der Achsen, die Sie zur Randomisierung ausgewählt haben: Beleuchtung, Texturen, Reibung, Masse. Die Fälle, an denen im Einsatz befindliche Roboter scheitern, liegen meist abseits dieser Achsen, in der langen Schwanzverteilung aus vollgestellten Regalen, verformbaren Objekten, halb geöffneten Behältern und menschlichen Störungen. Ein Modell, das überwiegend auf dem Skript trainiert wurde, lernt das Skript. Es führt die Aufgabe so aus, wie Sie sie demonstriert haben, und bleibt dann stehen, sobald die Welt sich das erste Mal weigert, dazu zu passen.

Abdeckung ist alles, was zählt

Generalisierung hat eine schlichte, operationale Bedeutung: gut auf Zuständen abzuschneiden, auf die Sie nicht trainiert haben. Um dorthin zu gelangen, brauchen Sie Trainingszustände, die Ihren Testzuständen nahekommen, das heißt, Sie brauchen Abdeckung. Mehr von derselben engen Aufgabe fügt keine Abdeckung hinzu; es fügt Sicherheit auf einem Terrain hinzu, das Sie bereits beherrschen.

Open X-Embodiment hat dazu eine Zahl geliefert. Durch die Zusammenführung von rund einer Million realer Trajektorien über 22 Robotermorphologien und 60 Teildatensätze hinweg übertrafen Modelle, die gemeinsam auf dieser Mischung trainiert wurden, dieselben Modelle, die auf einer einzelnen Quelle trainiert wurden, und Fertigkeiten übertrugen sich zwischen Robotern, die nie einen Datensatz geteilt hatten. Treiber war nicht das Volumen einer engen Quelle. Es war die Vielfalt. DROID liefert die environmentale Version dieses Arguments: 76.000 teleoperierte Trajektorien, gezielt in freier Wildbahn über 564 Szenen und 52 Gebäude hinweg gesammelt, wobei Policies, die damit gemeinsam trainiert wurden, auf ungesehene Szenen deutlich besser generalisierten als Labordaten vergleichbarer Größe.

Praktisch gelesen ist das eine Kurve. Ihr zehntausendstes Aufziehen einer Schublade in derselben Küche nähert sich einem Ertrag von null. Eine neue Küche, ein neues Objekt oder eine neue Strategie hinzuzufügen, zahlt sich weiterhin aus. Welche Datenquelle diese Kurve am langsamsten abflachen lässt, ist diejenige, die skaliert.

Eine Policy, die nur auf skriptgesteuerten Trajektorien trainiert wurde, kennt eine einzige richtige Art, eine Schublade zu öffnen. Eine Policy, die auf menschlichen Demonstrationen trainiert wurde, hat tausend Fälle gesehen, die fast schiefgingen, aber gerettet wurden, und genau diese Rettung macht den größten Teil von Robustheit aus.

Warum Menschen der bessere Sampler sind

Hier liegt der Hebel. Menschen bewältigen die lange Schwanzverteilung bereits jeden Tag, ohne dass es ein Datenbudget belastet, und egozentrische Erfassung verwandelt dieses Verhalten in ein Korpus. Ego-Exo4D zeichnete rund 1.300 Stunden qualifizierter Tätigkeiten von 740 Teilnehmenden in 13 Städten auf, mit zeitlich synchronisierten Ich- und Fremdperspektiven; das frühere Ego4D-Projekt sammelte in der Größenordnung von 3.700 Stunden von Hunderten Kameraträgern an Dutzenden Orten. Kein Roboter-Teleoperationsprogramm erreicht diese Bandbreite an Menschen, Orten und Strategien, weil es das nicht kann: Jede Stunde kostet einen Roboter und einen Operator.

Die eigenen Rezepte des Feldes räumen diesen Punkt bereits ein. Das Foundation Model Isaac GR00T von NVIDIA trainiert auf einer Mischung, die sich neben Trajektorien von echten Robotern und synthetischen Trajektorien auf menschliche Videos stützt, und Physical Intelligence trainiert seine morphologieübergreifenden Policies über viele Roboter und Aufgaben hinweg statt auf einer einzigen sauberen Quelle. Wenn die Gruppen, die humanoide Foundation Models bauen, nach vielfältigen menschlichen und morphologieübergreifenden Daten greifen, ist das keine Dekoration. Es ist tragende Struktur.

Die Kompromisse im direkten Vergleich

All das macht menschliche Daten nicht per se überlegen. Es ist ein anderer Punkt auf einer Reihe von Kompromissen, und gut zu wählen bedeutet, das gesamte Spielfeld zu überblicken.

Wo der menschzentrierte Ansatz an Grenzen stößt, und die ehrlichen Korrekturen

Die Spalte, die Ihnen Sorgen bereiten sollte, sind die Aktions-Annotationen. Eine menschliche Demonstration zeigt Ihnen die Hand, nicht die Gelenkbefehle; Sie beobachten ein Ergebnis, keinen Regler. Um daraus etwas zu machen, das ein Roboter nachahmen kann, braucht es eine Hand- und Objektposen-Schätzung, gefolgt von einem Retargeting auf die Morphologie des Roboters, und jede dieser Stufen summiert Fehler auf. Ein fünffingriges Umgreifen hat auf einem Zweifinger-Greifer keine saubere Entsprechung, weshalb manche menschlichen Strategien sich schlicht nicht übertragen lassen.

Die Korrekturen sind bekannt und werden zunehmend zum Standard. Gepaarte Erfassung ist die wichtigste davon: Multi-View-Rigs im DROID-Stil, die synchronisierten Ich- und Fremdperspektive-Kameras von Ego-Exo4D und die gepaarten Mensch-Roboter-Sequenzen von RH20T existieren alle, um dem Retargeting-Schritt eine überwachte Brücke zu geben. Die richtige Schlussfolgerung ist nicht, dass menschliche Daten Roboterdaten ersetzen. Es ist eine Arbeitsteilung: die reichlich vorhandene menschliche Demonstration auf die vielfältige Basis verwenden und die knappen Roboterstunden auf die Erdung und die Last-Mile-Fertigkeiten verwenden, dort, wo die Morphologielücke tatsächlich zuschlägt.

Die Basis und die Spitze

Behandeln Sie skriptgesteuerte Daten für das, was sie sind: ein sauberes, günstiges Fundament für motorische Priors, kein Weg zu einer allgemeinen Policy. Abdeckung ist die Eigenschaft, die eine Policy von einer Demonstration zu einer Fertigkeit macht, und menschliche Demonstration ist die breiteste, günstigste Quelle dafür, die wir haben. Die Teams, die skalieren, werden weniger wie eine Roboterflotte aussehen, die sich an einer einzigen Aufgabe abarbeitet, sondern eher wie eine breite menschliche Basis, gut erfasst, wobei die Roboterzeit dort eingesetzt wird, wo sie am meisten wert ist. Erfassen Sie die Welt, dann lehren Sie den Körper.