Teleoperation 101: Wie Roboter von menschlichen Händen lernen

Stellen Sie sich eine Doktorandin in einem Robotik-Labor vor, eine Hand um einen kleinen Leader-Arm gelegt, die andere hält eine Tasse Kaffee fest. Während sie den Leader-Arm bewegt, spiegelt ein Follower-Arm am anderen Ende der Werkbank jede ihrer Bewegungen, Griff für Griff, bis ein Handtuch zu einem sauberen Quadrat gefaltet ist. Sie schüttelt das Handtuch aus und faltet es erneut. Und noch einmal. Am Ende des Nachmittags hat sie zweihundert Faltvorgänge aufgezeichnet, und jeder einzelne davon ist ein Trainingsbeispiel.

Von hier stammt ein Großteil der heutigen Roboter-Manipulationsdaten. Nicht aus dem Web zusammengesucht, nicht in der Simulation erzeugt, sondern von einem Menschen in Echtzeit vorgeführt, der einen Roboter steuert. Das offene Datenset DROID ist ein nützlicher Maßstab: rund 76.000 Demonstrations-Trajektorien und etwa 350 Stunden Interaktion, gesammelt von etwa fünfzig Operatoren an 13 Institutionen im Verlauf eines Jahres. Neben den Billionen-Token-Korpora hinter Sprachmodellen ist das winzig. Jede Trajektorie wurde von Hand erarbeitet.

Teleoperation ist das Arbeitspferd der Embodied AI, und sie ist weit weniger glanzvoll als die Modelle, die sie füttert. Dieser Beitrag geht die Demonstrations-Pipeline von Anfang bis Ende durch: was eine einzelne Demonstration tatsächlich enthält, mit welchen Rigs Operatoren sie erzeugen, warum Latenz die Daten unbemerkt verschlechtert, und welche Annotations- und Qualitätssicherungsarbeit darüber entscheidet, ob eine Aufnahme zu Signal oder zu Rauschen wird.

Was eine Demonstration tatsächlich ist

Entkleidet man die Fachsprache, ist eine Demonstration nichts weiter als ein synchronisiertes Bündel von Zeitreihen. Für jeden Moment innerhalb einer Episode zeichnet das Rig auf, was der Roboter gesehen hat, wo sich sein Körper befand, und was der Operator ihm zu tun aufgetragen hat.

• Beobachtungen: ein oder mehrere RGB-Videoströme, üblich sind eine Handgelenkskamera plus eine Szenenkamera, manchmal Tiefendaten, manchmal taktile Messwerte.
• Propriozeption: Gelenkwinkel, Pose des Endeffektors, Greiferbreite, Kräfte am Handgelenk.
• Aktionen: die vom Operator ausgegebenen Befehle, üblicherweise Zielposen oder Gelenk-Deltas plus ein Signal zum Öffnen oder Schließen des Greifers.
• Metadaten: ein Aufgabenlabel, ein Erfolgs-Flag, Zeitstempel, Kamerakalibrierung und das Embodiment des Roboters.

Eine Episode ist ein Versuch an einer Aufgabe, vom Reset bis zum Endzustand, typischerweise wenige Sekunden bis eine Minute lang. Die Abtastrate zählt mehr, als es scheint: Bimanuelle Aufbauten im ALOHA-Stil zeichnen mit rund 50 Hz auf, sodass eine 15-sekündige Faltung etwa 750 synchronisierte Bilder ergibt. Wird zu langsam geloggt, kommt es bei schnellen Bewegungen zu Aliasing; wird zu schnell geloggt, ertrinken Speicher und Dataloader in redundanten Bildern. Auch im Aktionsstrom steckt eine leisere Entscheidung, nämlich ob absolute Zielposen oder relative Deltas geloggt werden. Absolute Aktionen lassen sich leicht wiedergeben, binden die Daten aber an ein bestimmtes Arbeitsraum-Layout; Deltas übertragen sich besser zwischen unterschiedlichen Aufbauten, akkumulieren aber kleine Fehler. Abtastrate und Aktionsformat sind frühe Entscheidungen, und beide lassen sich im Nachhinein nur schwer ändern.

Die Rigs, vom Leader-Arm bis zur VR

Die Schnittstelle zwischen Mensch und Roboter prägt alles, was folgt: wie natürlich die Bewegung wirkt, wie schnell sich Episoden ansammeln, und welche Fehler sich dabei festsetzen. Es gibt keinen einzelnen Sieger, nur Kompromisse.

Zwei Kräfte ziehen in entgegengesetzte Richtungen. Rigs mit höherer Treue, etwa kraftrückgekoppelte Leader-Arme, erfassen die feine Nachgiebigkeit, die eine kontaktreiche Aufgabe braucht, sind aber teuer und langsamer im Betrieb. Günstigere Rigs, etwa eine SpaceMouse, skalieren auf viele Stationen über viele Gebäude hinweg, um den Preis einer Bewegung, die eher roboterhaft wirkt. Tragbare VR-Controller skalieren auf dieselbe Weise, und genau so hat DROID seine Szenenvielfalt über viele Standorte hinweg erreicht. Die richtige Wahl hängt davon ab, ob der Engpass das Datenvolumen oder der Datenreichtum ist.

Latenz ist die versteckte Steuer

Jeder Teleoperations-Aufbau ist ein Regelkreis mit einem Menschen darin. Der Operator sieht ein Videobild, entscheidet, bewegt den Controller; der Befehl wandert zum Roboter, der Roboter bewegt sich, und das neue Bild kommt zurück. Zählt man Kameraverschlusszeit und -kodierung, Netzwerk-Hops, Regelzyklen und Anzeige zusammen, liegt die Rundlaufzeit selbst auf einer lokalen Werkbank selten unter 100 ms. Über ein Netzwerk kann es weit schlimmer sein.

Menschen beginnen, einen Regelkreis als träge zu empfinden, sobald er sich etwa im Bereich von 100 bis 150 ms bewegt, und sie kompensieren so, wie es jeder Fahrer bei einer verzögerten Verbindung tut: Sie verlangsamen sich, sie schießen über das Ziel hinaus und korrigieren, sie bewegen sich in vorsichtigen Schritten. Diese Kompensationen werden originalgetreu als Aktionen aufgezeichnet. Eine Policy, die auf verzögerungsbehafteten Demonstrationen trainiert wird, lernt das Zögern, als wäre es Teil der Aufgabe. Das ist einer der Gründe, warum ein sauberes, latenzarmes Rig Daten liefert, die besser trainieren, nicht nur Daten, die sich bei der Erfassung angenehmer anfühlten.

Es gibt noch ein subtileres Versagen. Werden Beobachtungs- und Aktionsstrom mit unterschiedlichen Uhren zeitgestempelt und nie korrekt aufeinander abgestimmt, bringt der Datensatz dem Modell bei, dass sich der Roboter vor dem Befehl bewegt hat, der ihn ausgelöst hat. Zeitsynchronisation unterhalb der Bildebene ist unspektakuläre Grundlagenarbeit, und genau dort verbirgt sich ein überraschend großer Teil stiller Datenkorruption.

Eine Roboter-Policy erbt die Gewohnheiten der Menschen, die sie wie eine Marionette geführt haben. Zögert jeder Operator an derselben Stelle, wird es auch das Modell tun, und keine noch so große Zahl an Parametern wird es ihm abgewöhnen.

Von Clips zu Labels

Eine Rohaufnahme ist noch nicht trainierbar. Moderne Vision-Language-Action-Modelle (VLA) erwarten, dass jede Episode eine Anweisung in natürlicher Sprache trägt, etwa das Handtuch falten oder die Tasse auf das Gestell stellen, und oft eine feinere Struktur: Subtask-Segmente, Keyframes bei Griff und Loslassen, und ein verlässliches Erfolgs- oder Fehlschlag-Label.

Ein Teil davon lässt sich bereits bei der Erfassung als Vorlage festlegen; der Operator wählt die Aufgabe vor jeder Episode aus einem Menü. Der Rest ist menschliche Überprüfung: Clips ansehen, falsch gelabelte Ergebnisse korrigieren, sowie die Sprachanweisung schreiben oder gegenprüfen. Toolkits wie LeRobot haben das Episodenformat standardisiert, sodass sich Datensätze aus unterschiedlichen Labors und mit unterschiedlichen Robotern zusammenführen lassen, was die Grundlage für Cross-Embodiment-Vorhaben wie Open X-Embodiment bildet. Ein nützlicher, dem Reinforcement Learning entlehnter Kniff ist das nachträgliche Umlabeln (Hindsight Relabeling): Ein Durchlauf, der sein eigentliches Ziel verfehlt hat, war dennoch bei dem erfolgreich, was er tatsächlich getan hat, und kann deshalb mit dem erreichten Ziel neu gelabelt statt verworfen werden. Es zeigt sich, dass die Konsistenz der Labels über verschiedene Quellen hinweg genauso wichtig ist wie die reine Anzahl der Episoden.

Qualitätssicherung, die Grenze zwischen Daten und Rauschen

Die Erfassung produziert einen Haufen Episoden. Die Qualitätssicherung entscheidet, welche davon übrig bleiben, und dort entsteht ein Großteil des Wertes.

• Erfolgsfilterung: fehlgeschlagene Versuche verwerfen oder umlabeln, außer Fehlschläge werden bewusst behalten, um Wiederherstellungsverhalten zu lehren.
• Synchronisations- und Kalibrierungsprüfungen: überprüfen, ob Kamera-Extrinsik, Zeitstempel und Propriozeption übereinstimmen, und Drift markieren, sobald sich Halterungen im Verlauf einer langen Sitzung lockern.
• Ausreißer- und Duplikaterkennung: verlorene Bilder, eingefrorene Datenströme und nahezu identische Episoden aufspüren, die die Zählung aufblähen, ohne Vielfalt hinzuzufügen.
• Replay-Validierung: aufgezeichnete Aktionen auf dem Roboter oder in der Simulation erneut ausführen, um zu bestätigen, dass sie das Ergebnis reproduzieren.

Datensätze, die diesen Prozess dokumentieren, mit RH20T als einem offenen Beispiel, das sein Multi-Roboter-, Multi-Sensor-Protokoll im Detail beschreibt, sind weit nützlicher als ein größerer Datenhaufen ohne Provenienz. In der Praxis werfen Teams routinemäßig einen beachtlichen Anteil dessen weg, was sie aufzeichnen. Die Verwurfsrate ist ein Merkmal, kein Versagen.

Wo der Aufwand wirklich hingeht

Die Schlagzeilenzahl eines Roboter-Datensatzes ist die Anzahl der Demonstrationen. Die Zahl, die vorhersagt, ob eine Policy generalisiert, lässt sich schwerer in eine Überschrift packen: wie vielfältig die Szenen waren, wie sauber die Zeitausrichtung ist, wie ehrlich die Fehlschläge gelabelt wurden, wie konsistent die Sprache über die Operatoren hinweg ist. Teleoperation wirkt wie der einfache Teil, eine Person, die einen Roboter herumbewegt. Die Ingenieursarbeit, die aus diesen Bewegungen Trainingsdaten macht, ist der schwierige Teil, und es ist der Teil, den es sich lohnt, richtig zu machen.