Die versteckten Kosten der Annotation von Roboterdaten

Zwei Labore zeichnen auf, was sie dieselbe Aufgabe nennen: eine Tasse von einem Tisch heben. Am ersten Rig werden der Kraftsensor des Greifers und die Handgelenkkamera von einer einzigen Uhr mit Zeitstempeln versehen. Am zweiten stammen die Zeitstempel der Kamera vom USB-Treiber, während die Kraftmesswerte aus einem separaten Regelkreis kommen, und die beiden Uhren driften um rund 80 Millisekunden auseinander. Speist man beide in dasselbe Modell ein, geht auf subtile Weise etwas kaputt. Die Policy lernt, dass der Greifer sich bereits zu schließen beginnen sollte, kurz bevor die Finger die Tasse tatsächlich berühren, weil in den Trainingsdaten das Kontaktsignal zu früh eintraf. An einem guten Tag sieht es in Ordnung aus. An einem schlechten Tag zerdrückt es die Tasse.

Das ist das Annotationsproblem, und es geht dabei nicht wirklich ums Zeichnen von Boxen. Der teure, fehleranfällige Teil eines modernen Roboterdatensatzes ist selten die Bewegung selbst. Es sind die Metadaten rund um die Bewegung: das Sprachlabel, das angibt, wofür die Trajektorie gedacht war, die Kalibrierung, die angibt, wo jede Kamera tatsächlich sitzt, und die Zeitsynchronisation, die angibt, welche Beobachtung welche Aktion ausgelöst hat. Sind diese falsch, ist die Trajektorie immer noch da, immer noch abspielbar, wird immer noch in Ihre Schlagzeilenzahl eingerechnet und vergiftet dabei klammheimlich das Training.

Die Schlagzeilenzahlen sind das verräterische Zeichen. Ein Datensatz, der mit „einer Million Trajektorien“ oder „dreitausend Stunden“ beworben wird, gibt an, wie viel erfasst wurde, nicht, wie viel davon vertrauenswürdig ist. Die Lücke zwischen diesen beiden Größen ist der Ort, an dem der größte Teil der realen Kosten steckt, und fast nichts davon findet den Weg in die Pressemitteilung. Drei Ebenen tragen den Großteil der Schuld.

Das Label, auf das sich niemand einigt

Sprachkonditionierung ist inzwischen Standard. Das pi-zero von Physical Intelligence, die GR00T-Reihe von NVIDIA, Gemini Robotics von Google DeepMind und die Large Behavior Models des Toyota Research Institute nehmen alle eine Anweisung in natürlicher Sprache entgegen und erzeugen Aktionen. Das funktioniert nur, wenn die Trainingsdaten Anweisungen enthalten, und Anweisungen sind der Punkt, an dem menschliches Urteilsvermögen einsickert.

Nehmen wir die Granularität. „Mach einen Kaffee“ ist ein Label; „nimm die Tasse, stelle sie unter den Auslauf, drücke den Knopf“ sind drei; ein Keystep-Annotator produziert vielleicht zwanzig. Ego4D versah tausende Stunden Video aus der Ich-Perspektive mit dichten, frei formulierten Beschreibungen, und der Nachfolger Ego-Exo4D ergänzte Expertenkommentare und Keysteps auf Schrittebene, gerade weil eine einzelne Beschriftung nicht zugleich einem übergeordneten Planer und einem untergeordneten Controller dienen kann. Jede Ebene, die Sie hinzufügen, ist ein eigener Annotationsdurchgang mit eigenen Arbeitskosten und eigener Uneinigkeit zwischen den Annotatoren.

Dann ist da die Provenienz des Labels selbst. Manche Datensätze erfassen zuerst die Anweisung und handeln dann, sodass die Absicht sauber ist, das Verhalten aber abweichen kann. Andere handeln zuerst und vergeben das Label im Nachhinein neu, was günstig und skalierbar ist, aber Beschriftungen begünstigt, die beschreiben, was geschah, statt was beabsichtigt war. Beides ist vertretbar. Sie stillschweigend innerhalb eines einzigen Trainingssets zu vermischen, ist der Weg, auf dem ein Modell lernt, dass „lege den Block in die Schüssel“ mal den blauen Block meint und mal den nächstgelegenen.

Ein Roboterdatensatz ist nur so gut wie sein am schlechtesten ausgerichteter Zeitstempel und sein am wenigsten konsistentes Label. Keines von beiden taucht in der Trajektorienzahl auf.

Kalibrierung ist ein Datenproblem, kein Einrichtungsschritt

Kalibrierung wird üblicherweise als etwas behandelt, das man einmal macht, bevor die interessante Arbeit beginnt. In einem Lerndatensatz ist sie kein Einrichtungsschritt; sie ist ein Label, und ein fragiles dazu. Die intrinsischen Kameraparameter geben an, wie das Objektiv die Welt auf Pixel abbildet. Die extrinsischen Parameter, einschließlich der Hand-Auge-Transformation zwischen einer Handgelenkkamera und dem Greifer, geben an, wo diese Pixel im Bezugssystem des Roboters liegen. Jede Form von 3D-Supervision, Tiefenausrichtung, Punktwolken-Fusion, Multi-View-Geometrie, ist nur so genau wie diese Zahlen.

Der Fehlermodus ist leise. Eine Handgelenkkamera, die um zwei Grad verstellt ist, wirft keinen Fehler; sie erzeugt einen Datensatz, in dem die projizierte Greiferposition durchgängig einen Zentimeter von der wahren Greiferposition entfernt liegt. Trainiert man mit genug davon, verinnerlicht die Policy den Versatz. DROID steckte echten Aufwand in die Standardisierung auf einen einzigen Arm, den Franka Panda, über 13 Institutionen hinweg, gerade damit Kalibrierung und Steuerungskonventionen nicht von Labor zu Labor variieren. Diese Disziplin ist zu einem großen Teil der Grund, warum sich die Daten überhaupt zusammenfügen lassen.

Zeitsynchronisation: die Fünfzig-Millisekunden-Lüge

Moderne Rigs sind von Natur aus multi-rate. RGB läuft nahe 30 Hz, Tiefe nach ihrem eigenen Takt, Propriozeption schneller, Kraft-Moment oft bei hunderten Hertz oder mehr, Audio noch schneller. Jeder Stream trägt einen Zeitstempel, und die Zeitstempel stammen von unterschiedlichen Stellen: einem Kameratreiber, einem Regelkreis, einem Mikrocontroller, der Systemuhr. Richtet man die Streams nach dem Moment aus, in dem der Logger ein Paket empfangen hat, statt nach dem Moment, in dem der Sensor die Welt abgetastet hat, hat man eine Latenz eingebacken, die mit der Systemlast schwankt.

Fünfzig bis achtzig Millisekunden klingen harmlos. Für eine kontaktreiche Manipulations-Policy sind sie es nicht, denn sie verfälschen die Kausalität. Das Modell versucht zu lernen, welche Beobachtung welche Aktion ausgelöst hat, und ein fehlausgerichteter Kraftkanal bringt ihm bei, dass Kontakt der Bewegung vorausgeht oder ihr folgt, auf Weisen, die nie stattgefunden haben. RH20T, das Bilddaten mit Kraft-Moment und anderen Modalitäten über mehr als hunderttausend Sequenzen hinweg koppelt, ist im Kern eine Übung darin, diese Uhren zur Übereinstimmung zu bringen.

Was die Schlagzeilenzahl verbirgt

Vier weithin genutzte Datensätze, vier unterschiedliche Wetten darauf, wo man Annotationsaufwand investiert. Die folgenden Zahlen sind ungefähr und gerundet.

Warum das Zusammenführen es schlimmer macht

Die Antwort des Fachgebiets auf die Datenknappheit ist die Aggregation, und die Aggregation vervielfacht jedes der oben genannten Probleme. Open X-Embodiment führte rund 60 Datensätze über 22 Verkörperungen von 21 Institutionen zu einem einzigen Trainingskorpus zusammen, und in dem Moment, in dem Sie das tun, trifft das „Greifer offen gleich 1“ des einen Datensatzes auf das „Greifer offen gleich 0“ des anderen, treffen die Meter des einen Labors auf die Millimeter des anderen, und 10 Hz-Steuerung trifft auf 20 Hz-Steuerung. Auch davon ist in einer Trajektorienzahl nichts sichtbar.

Deshalb leistet ein gemeinsames Datenformat, und nicht ein gemeinsames Modell, im Stillen die Schwerstarbeit. Hugging Face LeRobot treibt ein einheitliches On-Disk-Schema für Episoden, Beobachtungen und Aktionen voran, sodass die Ausrichtungsarbeit einmal beim Einlesen geschieht, statt von jedem Team, das die Daten anfasst, neu entdeckt zu werden. Das ist wenig glamourös, und dennoch fließt dort ein großer Teil der nutzbaren Roboterdaten hindurch.

Der nächste echte Sprung bei der Manipulation kommt wahrscheinlich nicht als neue Attention-Variante. Er wird eher von einem Team kommen, das entschieden hat, dass ein Zeitstempel ein erstklassiges Engineering-Artefakt ist, dass Kalibrierung ein Label mit einem Fehlerbalken ist und dass ein Satz, der eine Aufgabe beschreibt, dieselbe Versionskontrolle verdient wie der Code, der darauf trainiert hat. Langweilige Arbeit. Aber genau hier hören die Daten auf zu lügen.