Wie Teleoperationsdaten erfasst werden, von Anfang bis Ende

Eine gute Teleoperationssitzung für eine Policy zum Wäschefalten kann vier Stunden dauern und neunzig nutzbare Minuten liefern. Der Rest entfällt auf den Operator, der sich zwischen den Versuchen neu positioniert, einen ausgelassenen Stereo-Frame, einen Greifer, der closed meldete, während das Handtuch hindurchrutschte, oder eine Demonstration, die technisch gelang und dem Modell nebenbei eine Angewohnheit beibrachte, die niemand wollte. Roboter-Demonstrationsdaten zu erfassen gleicht weniger dem Drehen eines Videos als dem Betrieb eines kleinen, unnachsichtigen Aufnahmestudios, in dem fünf Uhren nicht übereinstimmen und der Star ein 7-DOF-Arm ist.

Dies ist die Schicht im Robot-Learning-Stack, die selten in den Ankündigungen vorkommt. Die Schlagzeilen bekommen die Modelle: NVIDIA Isaac GR00T, Physical Intelligences pi-0, Toyota Research Institutes Large Behavior Models, Google DeepMinds Gemini Robotics. Jedes von ihnen ist eine Funktion der Trajektorien, mit denen es trainiert wurde, und die überwältigende Mehrheit dieser Trajektorien beginnt damit, dass ein Mensch einen Roboter absichtlich durch eine Aufgabe führt. Was zwischen dem Rig und der annotierten Trajektorie geschieht, entscheidet über den Großteil der Qualität.

Verfolgt man den Prozess von Anfang bis Ende, zeigt sich immer wieder dieselbe Lektion: Die schwierigen Probleme liegen nicht im maschinellen Lernen, sondern in der Zeitmessung, der Ausrichtung und einer rigorosen Filterung. Hier ist die Pipeline.

Das Rig entscheidet, was sich überhaupt aufzeichnen lässt

Teleoperation bedeutet, dass ein Mensch den Roboter in Echtzeit steuert, während jeder Kanal protokolliert wird. Wie der Mensch ihn steuert, setzt der Datenqualität eine Obergrenze, noch bevor auch nur ein einziger Frame gespeichert wird. Vier Familien dominieren.

Leader-Follower-Puppenspiel koppelt einen kleinen Replik-Arm mit dem echten Arm; der Operator bewegt den Leader, und der Follower spiegelt die Bewegung. ALOHA machte dieses Verfahren für die bimanuelle Manipulation populär, und GELLO zeigte, dass sich ein brauchbarer Leader-Arm aus wenigen hundert Dollar an 3D-gedruckten Teilen und Servos bauen lässt. Die Bewegung wirkt direkt, und das Gelenk-Mapping ist sauber. VR- und Handcontroller befreien den Operator von einer physischen Replik; der weit verbreitete DROID-Datensatz wurde mit einem Oculus-Controller erfasst, der einen Franka-Arm in Dutzenden Gebäuden steuerte. Handschuhe und Exoskelette erfassen Fingerspitzengefühl auf Fingerebene und können dem Operator Kraft zurückmelden, allerdings um den Preis von Kalibrierung und individueller Anpassung pro Nutzer. Kinästhetisches Anlernen, also das Führen des Arms von Hand, benötigt keine Schnittstellen-Hardware, zeichnet aber keinen natürlichen Kamerablickwinkel auf und skaliert nicht.

Jeder Datenstrom hat seine eigene Uhr

Eine einzelne Demonstration ist keine einzelne Aufnahme, sondern ein Bündel von Datenströmen, die mit unterschiedlichen Raten abgetastet werden. RGB-Kameras laufen mit 30-60 Hz. Gelenk-Encoder und die Propriozeption des Endeffektors melden mit 100-1000 Hz. Ein am Handgelenk montierter Kraft-Momenten-Sensor kann noch schneller laufen. Die Teleoperationsbefehle treffen ein, sobald der Operator sich bewegt. Keiner dieser Ströme läuft von Natur aus im Gleichschritt, und der Fehler, der einen Datensatz ruiniert, besteht darin, genau das anzunehmen.

Die Lösung ist unspektakulär und nicht verhandelbar: Jede Probe wird an ihrer Quelle gegen eine gemeinsame Uhr zeitgestempelt und anschließend auf eine gemeinsame Zeitachse resampelt, statt sich auf die Ankunftsreihenfolge zu verlassen. Multi-Kamera-Rigs wie der Stereo-plus-Handgelenk-Aufbau in DROID müssen zeitlich synchronisiert und geometrisch kalibriert sein, sonst stimmen Tiefe und Aktion nicht überein. Die subtilere Falle ist die Ausrichtung von Aktion und Beobachtung. Der Operator reagiert auf das, was er einen Moment zuvor gesehen hat, sodass das Rohprotokoll jede Aktion mit einer Beobachtung paart, die der Mensch zum Zeitpunkt der Bewegung noch gar nicht gesehen hatte. Trainiert man auf dieser um eins verschobenen Paarung, bringt man der Policy bei, auf die Zukunft zu reagieren. Die Korrektur der End-to-End-Latenz, oft im Bereich mehrerer zehn Millisekunden, gehört zum Aufbau der Trajektorie und ist keine optionale Verfeinerung.

Ein Demonstrationsdatensatz ist zuerst ein Synchronisationsartefakt und erst danach ein Verhaltensdatensatz. Stimmen die Uhren nicht, erbt jede nachgelagerte Annotation den Fehler.

Die meisten Demonstrationen sind heimlich fehlerhaft

Man muss davon ausgehen, dass ein nennenswerter Anteil der Rohsitzungen nicht zum Training taugt, und die Pipeline entsprechend darauf auslegen, diese zu finden. Die Fehler sind selten dramatisch. Eine Kamera verliert Frames unter USB-Bandbreitendruck. Eine Uhr driftet mitten in der Episode über ihre Toleranz hinaus. Der Greiferzustand meldet closed, obwohl das Objekt nie tatsächlich gegriffen wurde. Der Operator hält inne, um nachzudenken, und hinterlässt dreißig Sekunden nahezu statischer Frames. Ein Kraftspitzenwert markiert eine Kollision, von der sich der Operator erholte, die aber nie gemeldet wurde.

Seriöse Datenerfassung läuft über einen zweistufigen Filter. Automatische Prüfungen erfassen die mechanischen Fehler: Frame-Drop-Zahlen, Zeitstempellücken, Propriozeption, die der befohlenen Bewegung widerspricht, Kraftwerte außerhalb eines plausiblen Rahmens sowie Episoden, die zu kurz oder zu inaktiv sind, um ein Signal zu tragen. Die menschliche Durchsicht übernimmt die Beurteilung: Wurde die Aufgabe tatsächlich abgeschlossen, entspricht die Strategie derjenigen, die vermittelt werden soll, ist die Sprachanweisung (das Handtuch in der Hälfte falten) eine ehrliche Beschreibung dessen, was der Arm getan hat. RH20T, das mehr als 110.000 Roboter-Manipulationssequenzen mit Kraft-Momenten- und Multi-View-Audio-Video-Daten koppelt, erinnert daran, dass man mit reichhaltigeren Kanälen auch mehr Möglichkeiten erhält, mit denen ein Clip subtil fehlerhaft sein kann. Sowohl erfolgreiche als auch gescheiterte Episoden lohnt es sich zu behalten, allerdings nur, wenn sie als solche gekennzeichnet sind.

Vom Rohprotokoll zur annotierten Trajektorie

Die verbleibenden Sitzungen werden in ein festes Schema überführt, damit eine Trainingsschleife sie ohne Sonderfälle verarbeiten kann. Eine Episode wird zu einer geordneten Abfolge von Schritten, und jeder Schritt ist ein Dictionary: ein oder mehrere Kamerabilder, der propriozeptive Zustand, die ausgeführte Aktion, ein Done-Flag und meist eine Anweisung in natürlicher Sprache. Zwei Formate dominieren. RLDS, das Format hinter Open X-Embodiment, verpackt Episoden als verschachtelte TensorFlow-Datensätze; das LeRobotDataset-Format auf Hugging Face hat sich als gemeinsame Währung der offenen Community etabliert und wird mit dem Tooling ausgeliefert, um eine Episode zu laden, zu visualisieren und zu teilen.

Drei Entscheidungen an dieser Stelle prägen alles, was danach folgt. Erstens der Aktionsraum: absolute Gelenkwinkel oder Endeffektor-Deltas. Deltas übertragen sich geschmeidiger auf ähnliche Arme, was in dem Moment wichtig wird, in dem man verschiedene Embodiments mischt. Zweitens die Normalisierung: Aktionen und Zustände werden pro Dimension neu skaliert, damit kein Kanal den Loss dominiert, und die Normalisierungsstatistiken müssen mit den Daten mitgeführt werden. Drittens die Cross-Embodiment-Metadaten: Open X-Embodiment fügte über eine Million Trajektorien aus 22 verschiedenen Robotertypen zu einem einzigen Trainingskorpus zusammen, und das funktioniert nur, weil jede Episode ihr Embodiment, ihr Kamera-Layout und ihre Regelfrequenz deklariert. Eine Trajektorie ohne diese Metadaten ist in einem gemischten Datensatz nahezu wertlos.

Die Kompromisse, denen niemand entkommt

Teleoperation verschafft saubere, kausale, korrekt verkörperte Daten, und sie bleibt teuer, weil für jede Sekunde davon ein Mensch im Loop ist. Allein diese Tatsache treibt die meisten strukturellen Wetten des Feldes an. Physical Intelligence setzt auf breite, heterogene Daten, damit ein einzelnes Modell viele Roboter abdeckt. Toyota Research Institute bündelt große Mengen teleoperierter Demonstrationen zu Large Behavior Models, statt pro Aufgabe eine eigene Policy zu trainieren. Andere setzen auf egozentrisches menschliches Video, darunter Ego-Exo4D als eines der Referenzdatensätze, um den Roboter-Engpass zu umgehen, und nehmen dafür die Embodiment-Lücke zugunsten der Skalierung in Kauf. Es gibt keine kostenlose Abkürzung. Mehr Skalierung kostet meist Genauigkeit oder Provenienz, und höhere Genauigkeit kostet meist Durchsatz.

Wo die eigentliche Arbeit steckt

Wenn eine Roboter-Policy das nächste Mal ein sauberes bimanuelles Falten vorführt, denken Sie daran: Der beeindruckende Teil geschah Monate zuvor, in einem Raum, in dem jemand entschied, welche vier der sechzehn Stunden ehrlich genug waren, um sie zu behalten. Das Rig ist der einfache Teil. Die Uhren, die Filter und die Annotationen sind das Handwerk, und sie sind es, die aus Rohsitzungen ein Korpus machen, aus dem ein Modell tatsächlich lernen kann, statt aus einem Haufen Clips, der nur wie Daten aussieht.