Wie viel Daten eine humanoide Fähigkeit braucht: Stichprobeneffizienz

Eine Diffusion Policy kann lernen, einen Bagel aus einem Toaster zu ziehen, und zwar aus rund hundert Demonstrationen. Geben Sie ihr eine andere Küche, einen anderen Toaster und Nachmittagslicht statt Morgenlicht, und dasselbe Modell, trainiert auf denselben hundert Demonstrationen, wird danebengreifen. An der Fähigkeit selbst hat sich nichts geändert. Verändert hat sich der Ausschnitt der Welt, in dem die Fähigkeit überleben soll.

Fragen Sie zehn Robotik-Ingenieure, wie viele Daten eine humanoide Fähigkeit braucht, und Sie erhalten Antworten, die sich über drei Größenordnungen erstrecken. Fünfzig teleoperierte Episoden. Ein paar Stunden. Zehntausend Stunden. Alle diese Antworten lassen sich begründen, und genau das ist das Problem. „Demonstrationen pro Fähigkeit“ ist eine Zahl mit einem versteckten Nenner, und solange dieser Nenner nicht feststeht, bedeutet die Zahl fast nichts.

Dieser Beitrag versucht, statt einer einzelnen Zahl eine ehrliche Spannbreite zu liefern und zu benennen, was Sie innerhalb dieser Spannbreite bewegt: die Komplexität der Aufgabe, wie viel Umgebungsvariation Sie abdecken wollen, und ob Sie von einem generalistischen Modell ausgehen oder bei null anfangen. Kurz gesagt: Eine Fähigkeit in einem festen Setup ist günstig, dieselbe Fähigkeit, die sich in der offenen Welt bewährt, ist es nicht.

Das Einheitenproblem

Eine Demonstration ist eine Trajektorie: eine Abfolge von Beobachtungen und Aktionen, die eine Aufgabe einmal vollständig ausführt. Doch „die Tasse greifen“ presst eine gewaltige Bandbreite an Schwierigkeit in wenige Worte. Eine Tasse, in einer Pose, auf einem Tisch, unter einem Licht zu greifen, dafür braucht ein moderner Stack fürs Imitationslernen erstaunlich wenig. Eine beliebige Tasse an einem beliebigen Ort zu greifen, dann lernen Sie keine Fähigkeit mehr, sondern eine Verteilung.

Die eigentlich nützliche Frage lautet also nicht, wie viele Demonstrationen eine Fähigkeit braucht, sondern wie viele nötig sind, um eine Ziel-Zuverlässigkeit über eine bestimmte Bandbreite an Bedingungen hinweg zu erreichen. Kontaktreiche Aufgaben (schälen, einstecken, falten) kosten mehr als Bewegungen im freien Raum. Aufgaben mit engen Toleranzen kosten mehr als nachsichtige. Und jede Variationsachse, die hinzukommt, neue Objekte, neue Hintergründe, neue Beleuchtung, neue Ausgangszustände, vervielfacht die zur Abdeckung nötigen Demonstrationen, statt sie nur zu addieren.

Die Frage ist nie, wie viele Demonstrationen eine Fähigkeit braucht. Sie lautet, wie viel von der Welt diese Fähigkeit überstehen soll.

Was Imitationslernen für eine einzelne Aufgabe wirklich kostet

Beginnen wir mit dem günstigsten Regime: eine Aufgabe, ein Setup, von Grund auf trainiert. Hier ist die Literatur bemerkenswert einheitlich. Action Chunking Transformers auf der ALOHA-Plattform lernen kontaktreiche beidhändige Aufgaben aus der Größenordnung von fünfzig Demonstrationen. Diffusion Policy berichtet von verlässlicher Leistung bei Einzelaufgaben im Bereich von etwa 100-200 Demonstrationen, bei einfachen Bewegungen manchmal weniger. Googles RT-1 sammelte rund 130.000 Episoden über mehr als 700 Aufgaben hinweg, was selbst im Flottenmaßstab im Schnitt auf ein paar hundert Demonstrationen pro Aufgabe hinausläuft.

Ein erster ehrlicher Ankerpunkt also: Für eine klar abgegrenzte Manipulationsfähigkeit unter festen Bedingungen sollten Sie mit einigen Dutzend bis niedrigen Hunderten von Demonstrationen rechnen, also ein paar Stunden Teleoperation. Das ist auch die Zahl, die am häufigsten aus dem Zusammenhang gerissen zitiert wird, weil sie die einfachste Version des Problems beschreibt und stillschweigend voraussetzt, dass der Test wie die Trainingsmenge aussieht.

Der Vortrainingsrabatt

Diese Zahlen setzen voraus, dass Sie jede Fähigkeit isoliert trainieren. Kaum jemand, der es ernst meint, tut das heute noch. Das dominierende Rezept lautet: eine generalistische Policy auf einem großen, vielfältigen Korpus vortrainieren und anschließend mit einer moderaten Anzahl Demonstrationen für die Zielfähigkeit feinabstimmen. Vortraining zahlt die Kosten jeder weiteren Fähigkeit danach ab.

Die Korpora sind mittlerweile beachtlich. Open X-Embodiment aggregiert mehr als eine Million reale Trajektorien über 22 Roboter-Embodiments und Hunderte Fähigkeiten hinweg. DROID fügt rund 76.000 Trajektorien hinzu, die unter realen Bedingungen über 564 Szenen hinweg gesammelt wurden. Das pi-zero-Flow-Modell von Physical Intelligence und NVIDIAs GR00T N1 sind beides Vision-Language-Action-Modelle, die auf einer solchen Mischung aus verschiedenen Embodiments vortrainiert wurden, und beide sind darauf ausgelegt, mit weit weniger Daten an eine neue Aufgabe angepasst zu werden, als ein Training von Grund auf erfordern würde. Die Arbeit des Toyota Research Institute zum Large Behavior Model macht diesen Mechanismus explizit: Das gemeinsame Training eines einzigen Netzwerks auf Hunderten Aufgaben verbessert die Leistung je Aufgabe und senkt die Zahl der Demonstrationen, die nötig sind, um die nächste hinzuzufügen.

Der Rabatt ist real, aber nicht umsonst. Feinabstimmung braucht weiterhin Demonstrationen im Ziel-Embodiment und in der Zielumgebung, und je weiter sich Ihr Roboter und Ihr Umfeld von der Vortrainingsverteilung entfernen, desto mehr brauchen Sie. Eine humanoide Hand ist kein Parallelgreifer; ein Großteil der günstigsten vorhandenen Roboterdaten lässt sich nicht sauber auf sie übertragen.

Warum menschliches Videomaterial die Rechnung verändert

Teleoperierte Roboterdaten haben eine harte Obergrenze: Jede Demonstration braucht einen Roboter und einen Operator, sodass der Korpus nur eine Arm-Stunde nach der anderen wächst. Menschliche Demonstrationen kennen diese Grenze nicht. Ego4D stellte rund 3.670 Stunden alltäglicher Aktivität aus der Ich-Perspektive zusammen; Ego-Exo4D fügte mehr als 1.200 Stunden anspruchsvoller Aufgaben hinzu, aufgenommen aus synchronisierten Ich- und Fremdperspektiven. Das ist Videomaterial von Händen bei echter Arbeit, in einem Umfang, den keine Teleoperationsflotte so bald erreichen wird.

Der Haken ist die Embodiment-Lücke. Menschliches Videomaterial trägt die Priors, auf die es ankommt, wie eine Aufgabe sich zerlegt, wo Kontakt entsteht, wie sich Objekte verhalten, aber keine Robotergelenkbefehle und oft kein verlässliches 3D. Es in Supervision umzuwandeln, mit der eine Policy trainieren kann, retargetierte Hände, rekonstruierter Kontakt, Aktions-Annotationen, ist die aktive Forschungsfront, und dort liegt derzeit ein Großteil des Hebels in diesem Feld. Die Trainingsmischung von GR00T verbindet bereits echte Roboterdaten, Simulation und menschliches Videomaterial, genau weil keines der drei allein ausreicht.

Daten für eine neue Fähigkeit budgetieren

Fügt man die Teile zusammen, ergibt sich eine praktische Faustregel. Um den Datenbedarf für eine neue humanoide Fähigkeit zu schätzen, fragen Sie nicht nach einer einzelnen Zahl; legen Sie drei Dinge fest und lesen Sie daraus eine Spannbreite ab.

• Zuverlässigkeitsziel. Zwischen einer Erfolgsquote von 70% am Vorführtag und 99% im Produktivbetrieb liegt ein langer Schwanz, der den Großteil der Daten kostet.
• Variationsziel. Eine einzige feste Zelle oder eine beliebige Küche? Jede unabhängige Variationsachse vervielfacht den Bedarf in etwa.
• Ausgangspunkt. Von Grund auf sollten Sie für den festen Fall mit einigen Dutzend bis einigen Hundert Demonstrationen rechnen. Von einem starken vortrainierten Generalisten ausgehend oft weniger für denselben festen Fall, aber der Fall der offenen Welt läuft weiterhin in die Tausende.

Grob umrissen: Fähigkeiten mit festem Setup bewegen sich im Bereich von Dutzenden bis Hunderten von Demonstrationen; dieselbe Fähigkeit, gehärtet für den realen Einsatz in Haushalten oder Geschäften, klettert tendenziell in die Tausende von Demonstrationen, oder das Äquivalent von Hunderten Stunden, wobei der Großteil davon nicht in die Bewegung selbst fließt, sondern in den langen Schwanz der Bedingungen darum herum.

Die ehrliche Zahl

Wie viele Daten braucht eine humanoide Fähigkeit also wirklich? Dutzende Demonstrationen, um einmal gut auszusehen, Hunderte, um in einer festen Zelle zu funktionieren, und Tausende, oder das Äquivalent an menschlichen Arbeitsstunden, um den Kontakt mit einer Welt zu überstehen, die sie noch nicht gesehen hat. Die Zahl ist eine Funktion, keine Konstante, und ihre steilste Eingangsgröße ist Generalisierung. Wer Ihnen eine einzige Zahl für Daten pro Fähigkeit nennt, nennt Ihnen in Wirklichkeit seinen Nenner, und hofft, dass Sie nicht nachfragen.