Propriozeption: der Sinn, den Roboter nicht sehen können

Schließen Sie die Augen und berühren Sie Ihre Nase. Sie mussten Ihre Hand nicht sehen, um sie zu finden. Dieser Sinn, der Ihnen sagt, wo sich Ihre Gliedmaßen befinden, ohne hinzusehen, ist die Propriozeption, und sie läuft ständig im Hintergrund, bei allem, was Sie mit Ihrem Körper tun.

Roboter besitzen denselben Sinn, und er ist wohl ihr zuverlässigster. Eine Kamera kann von Blendlicht geblendet, vom eigenen Arm des Roboters verdeckt oder von einer spiegelnden Oberfläche getäuscht werden. Gelenkencoder lügen fast nie. Doch im Wettlauf, humanoide Policies mit Video im Internet-Maßstab zu trainieren, ist die Propriozeption der Kanal, der am häufigsten fehlt, und dieses Versäumnis begrenzt still und leise, wie gut eine Manipulations-Policy überhaupt werden kann.

Dieser Beitrag vertritt eine These. Propriozeption ist beim Roboterlernen keine Nebenrolle. Für kontaktreiche Manipulation ist sie tragend, und weil passives Video sie nicht enthält, ist eine gute Erfassung der Propriozeption eine der schärfsten Trennlinien zwischen Daten, die eine echte Policy trainieren, und Daten, die nur nützlich aussehen.

Was Propriozeption tatsächlich kodiert

Bei einem Roboter ist Propriozeption die Gesamtheit der internen Signale, die die Konfiguration und den Kraftaufwand des eigenen Körpers beschreiben. Es ist keine einzelne Zahl. Es ist ein Bündel.

• Gelenkpositionen: der Winkel jedes angetriebenen Gelenks, üblicherweise von Encodern erfasst, schnell abgetastet.
• Gelenkgeschwindigkeiten: wie schnell sich jeder Winkel ändert, was der Regler braucht, um stabil zu bleiben.
• Gelenkmomente oder -ströme: die Kraft, die jeder Motor aufbringt, ein günstiger Näherungswert für die Kontaktkraft.
• Endeffektor-Pose: wo sich die Hand im Raum befindet, abgeleitet aus den Gelenkwinkeln über die Vorwärtskinematik.

Zusammen sagen sie der Policy, was der Körper gerade jetzt tut, unabhängig von der Szene. Ein Vision-System sagt: Die Tasse steht dort drüben. Propriozeption sagt: Meine Hand ist hier, bewegt sich mit dieser Geschwindigkeit, drückt mit dieser Kraft. Eine gute Manipulations-Policy braucht beides, fusioniert bei jedem Regelungsschritt.

Warum Manipulation ohne sie zusammenbricht

Stellen Sie sich einen Stift vor, der in ein Loch mit einem Bruchteil eines Millimeters Spiel eindringt. In dem Moment, in dem der Stift den Rand berührt, kann die Kamera den Kontakt nicht mehr sehen. Die Finger verdecken ihn. Genau dort, wo die Sicht schwarz wird, spielt sich die interessante Physik ab.

Was weiterhin funktioniert, ist die eigene Rückmeldung des Körpers. Ein leichter Anstieg des Gelenkmoments bedeutet, dass der Stift an einer Kante hängengeblieben ist. Ein Stillstand der Gelenkgeschwindigkeit bedeutet, dass die Bewegung vor dem Ziel gestoppt ist. Menschliche Hände lösen diese Probleme meist über das Gefühl, nicht über den Blick, und Roboter müssen dasselbe tun.

Es gibt einen zweiten Fehlermodus: Drift. Eine Policy, die nur Pixel liest, hat kein direktes Gespür für ihre eigene Bewegung, sodass sich kleine Fehler anhäufen, ohne dass etwas dagegen korrigiert. Propriozeption schließt diesen Regelkreis. Sie liefert der Policy ein hochfrequentes, latenzarmes Signal über ihren eigenen Zustand, dem die Vision, mit 30 Hz und oft verzögert, nicht das Wasser reichen kann.

Vision informiert einen Roboter über die Welt. Propriozeption informiert ihn über sich selbst. Nehmen Sie Letztere weg, und Manipulation wird zum Raten.

Die Abtastrate ist Teil des Signals

Propriozeption ist wenig wert, wenn sie langsam ankommt. Kontaktereignisse geschehen in Millisekunden. Ein Rutschen, eine Kollision, ein sauberes Zusammenfügen, jedes davon zeigt sich zuerst als Spitze im Moment oder als Sprung in der Geschwindigkeit, und wenn Sie mit 30 Hz abtasten, verpassen Sie es.

Deshalb zählt die Erfassungsrate ebenso viel wie der Erfassungsinhalt. Gelenkzustände werden üblicherweise weit schneller geloggt als Kamerabilder, oft mit 240 Hz oder mehr, und dann mit dem langsameren Videostrom abgeglichen. Diese Diskrepanz ist beabsichtigt. Sie wollen Propriozeption, die dicht genug ist, um die Physik zu erfassen, und Vision, die dicht genug ist, um die Szene zu erfassen, jede mit ihrer eigenen nativen Rate. Ein Datensatz, der alles mit einer einzigen langsamen Rate loggt, wirft genau den Teil des Signals weg, der Propriozeption wertvoll gemacht hat. Passives Material aus der Ich-Perspektive, wie es in Ego4D gesammelt wird, ist reich an Absicht, enthält aber überhaupt keine Propriozeption.

Wie wir Propriozeption von Menschen erfassen

Menschliche Demonstration ist die günstige, skalierbare Quelle, aber Menschen kommen nicht mit eingebauten Gelenkencodern. Wie bekommt man also Propriozeption aus einer Person heraus?

Es gibt zwei Wege. Der erste ist Teleoperation: Ein Mensch steuert einen echten Roboter, und die eigenen Encoder des Roboters loggen Ground-Truth-Propriozeption, während die Person die Absicht liefert. So gewinnen Datensätze wie DROID und RH20T saubere Gelenk- und Kraftdaten. Der Haken ist Durchsatz und Kosten, denn jede Stunde Daten braucht einen Roboter und einen Operator.

Der zweite Weg rekonstruiert menschliche Propriozeption direkt, aus Wearables und Vision. Inertialsensoren, Handverfolgungs-Handschuhe und Multi-Kamera-Rigs schätzen die Gelenkwinkel von Körper und Händen, die anschließend auf die Kinematik eines Roboters retargetiert werden. Das ist schwerer richtig hinzubekommen, denn ein rekonstruierter Gelenkwinkel ist eine Schätzung, kein Encoder-Messwert. Aber er skaliert auf eine Art, wie Teleoperation es nie tun wird, und genau hier verdient sich die Erfassung aus der Ich-Perspektive ihren Platz.

Beide Wege bedienen denselben nachgelagerten Bedarf: einen Zustandsvektor, zeitlich mit Vision und Aktion abgeglichen, den ein Modell wie NVIDIA Isaac GR00T zusammen mit Kamerabildern und einer Sprachanweisung verarbeiten kann. Korpora wie Open X-Embodiment zeigen sowohl den Wert als auch das Problem: Breite über viele Roboter hinweg, aber propriozeptive Felder, die uneinheitlich, unterschiedlich skaliert und manchmal gar nicht vorhanden sind.

Das Signal, dem ein Roboter vertraut

Propriozeption ist unglamourös. Sie erzeugt keine eindrucksvolle Visualisierung und keine virale Demo. Aber sie ist das Signal, auf das sich ein Roboter stützt, wenn das Licht ausgeht und die Finger die Sicht versperren, und genau das ist der Moment, in dem Manipulation gelingt oder scheitert.

Die Teams, die humanoide Foundation Models bauen, wissen das bereits. Deshalb tragen ihre Zustandsvektoren Gelenkwinkel, Geschwindigkeiten und Momente, nicht nur Pixel. Die offene Frage für jeden, der Trainingsdaten erfasst, lautet, ob die Pipeline dieses Signal mit der von der Physik geforderten Rate bewahrt, oder ob sie es still fallen lässt und hofft, dass Vision es ausgleicht. Das wird sie nicht.