Hz vs. fps: Erfassungsrate und Regelfrequenz bei Robotern
Warum ein Roboter-Rig mit 240 Hz abtastet, eine Policy aber nur mit 30 Hz agiert, wie sich Erfassungsrate und Regelfrequenz unterscheiden, und was Multi-Rate-Sensorik kostet.
Eine Kamera, die an einem Rig zum Wäschefalten montiert ist, feuert 240 Bilder pro Sekunde. Die Policy, die den Greifer steuert, wacht 30 Mal pro Sekunde auf. Derselbe Roboter, dasselbe Handtuch, und eine achtfache Lücke zwischen der Geschwindigkeit, mit der die beiden Hälften des Systems die Welt wahrnehmen, und der Geschwindigkeit, mit der sie handeln.
Diese Lücke ist keine schlampige Ingenieurskunst. Sie ist eine Designentscheidung, die sich in fast jedem ernstzunehmenden Manipulations-Stack wiederfindet, der heute ausgeliefert wird, und die Zahlen dahinter, hier 240 Hz, dort 30 Hz, irgendwo dazwischen 50 Hz, werden meist so ungenau angegeben, dass Neulinge sie für austauschbar halten. Das sind sie nicht. Hz und fps messen verwandte, aber unterschiedliche Größen, und wer beides vermischt, endet mit einem Datensatz, dessen Video zwar wunderschön scharf ist, aus dem eine Policy aber faktisch nichts lernen kann.
Dieser Beitrag trennt die beiden Raten voneinander: was eine hohe Erfassungsrate bringt, warum die Regelfrequenz hartnäckig niedrig bleibt, und was dazwischen passieren muss, damit ein Modell, das auf menschlichen Demonstrationsdaten trainiert wurde, nicht an seinen eigenen Zeitstempeln erstickt.
Zwei Takte, die selten übereinstimmen
Beginnen wir beim Vokabular, denn dort fängt die Unschärfe an. fps, Bilder pro Sekunde, ist eine Abtastrate: wie oft ein Sensor einen Messwert schreibt. Hz sind schlicht Zyklen pro Sekunde, und diese Einheit hängt an jedem Takt im System: Kamerabelichtung, IMU-Abtastung, Kraft-Moment-Auslesung, der Regelkreis, der Inferenzschritt der Policy. Zu sagen, ein Roboter laufe mit „240“, ist bedeutungslos, solange man nicht sagt, 240 wovon.
Ein typisches Manipulations-Rig lässt mindestens vier Takte gleichzeitig laufen. RGB-Kameras mit 30 bis 60 fps, Tiefe manchmal niedriger. Eine Inertialmesseinheit (IMU) mit 100 bis 1000 Hz. Ein Kraft-Moment-Sensor mit 500 Hz bis zu einigen kHz. Und der Regelkreis, der tatsächlich die Gelenk-Sollwerte befiehlt, bei einer gelernten Policy oft mit nur 15 bis 50 Hz, während der zugrunde liegende Motorcontroller seinen Stromregelkreis mit 1 kHz oder höher schließt. Fünf Takte, drei Größenordnungen auseinander, und jeder Einzelne von ihnen muss abgeglichen werden, bevor ein Modell auch nur einen einzigen Messwert sieht.
Warum Erfassung schnell sein will
Das Argument für eine hohe Erfassungsrate ist physikalisch, nicht ästhetisch. Drei Gründe dominieren.
Kontakt ist schnell. In dem Moment, in dem eine Fingerspitze ein starres Objekt berührt, schießt die Kraft binnen ein bis zwei Millisekunden hoch. Tasten Sie diesen Kanal mit 30 Hz ab, verpassen Sie den Übergang vollständig: Sie sehen „kein Kontakt“, dann „bereits im Andruck“, dazwischen nichts. Griffqualität, Rutschen und Stoß leben allesamt in dieser Lücke, weshalb Kraft-Moment-Kanäle mit Hunderten von Hertz oder mehr ausgelesen werden.
Nyquist kennt keine Gnade. Um ein Signal zu rekonstruieren, muss man mit mehr als dem Doppelten seiner höchsten Frequenz abtasten. Ein Sehnenzupfen oder Werkzeugrattern bei 80 Hz braucht deutlich über 160 Hz, nur um ein Aliasing zu vermeiden, das es in Rauschen verwandelt. Unterabtastung verwischt das Signal nicht, sie erzeugt ein falsches, niederfrequenteres Signal, das völlig real aussieht.
Unschärfe ist verlorene Information. Eine Kamera mit 30 fps und langer Belichtung verschmiert einen schnellen Greifer über das gesamte Bild. Höhere Bildraten mit kürzeren Belichtungszeiten halten Kanten scharf, was für ein Modell, das feine Bewegungen liest, wichtiger ist als für einen Menschen, der die Aufzeichnung betrachtet.
Die Welt mit der Geschwindigkeit des schnellsten Ereignisses erfassen, das zählt, und der Policy dann die langsamste Rate überlassen, auf der sie noch gut handeln kann. Das sind zwei verschiedene Zahlen, und sie als eine zu behandeln, ist der klassische Anfängerfehler.
Warum die Regelung langsam bleibt
Wenn schnell so gut ist, warum lässt man die Policy dann nicht auch mit 240 Hz laufen? Weil die Policy teuer ist und die Welt nachsichtig.
Ein modernes Vision-Language-Action-Modell (VLA) ist ein großes neuronales Netz. Ein einzelner Forward-Pass kann auf einer Datacenter-GPU einige Dutzend Millisekunden dauern, und länger auf allem, was sich an einen Roboter montieren lässt. Führt man bei jedem Regeltakt eine Inferenz aus, bräuchte man einen Forward-Pass unter 5 ms, den kein Modell interessanter Größe liefert. Also entkoppelt das Feld die beiden Raten mit Action Chunking: Die Policy betrachtet die Szene einmal, sagt eine kurze Sequenz künftiger Aktionen voraus, und ein günstigerer Controller streamt diese aus, während bereits die nächste Inferenz läuft. Das π0 von Physical Intelligence nutzt Flow Matching, um Action-Chunks mit bis zu rund 50 Hz auszugeben, während der schwere Transformer weit seltener tickt, und NVIDIAs GR00T folgt demselben Muster, einen Chunk vorherzusagen.
Der zweite Grund ist, dass die Manipulation das toleriert. Ein Handtuch zu falten oder einen Stecker einzusetzen ist quasistatisch: Der Arm bewegt sich relativ zur Sensorik langsam, und ein Kommandostrom mit 30 Hz ist glatt genug. Dynamische Aufgaben, ein Laufgang, ein Fangen, ein Peitschenschlag, verlangen höhere Regelfrequenzen und meist einen anderen, nicht gelernten Controller darunter.
| Signal oder Regelkreis | Typische Rate | Warum diese Rate |
|---|---|---|
| RGB-Kamera | 30-60 fps | Ausreichend für langsame Manipulation, begrenzt durch Bandbreite und Speicher |
| Kraft-Moment | 500 Hz bis zu einigen kHz | Kontakt-Transienten liegen im Millisekundenbereich |
| IMU | 100-1000 Hz | Vibration und schnelle Rotation aliasen darunter |
| Gelernte Policy (Regelung) | 15-50 Hz | Begrenzt durch die Inferenzlatenz des Modells |
| Motor-Stromregelkreis | 1 kHz und mehr | Stabilität des unterlagerten Servos |
Die Ausrichtungssteuer
Mehrere Takte erzeugen ein Buchhaltungsproblem, das man leicht unterschätzt. Wenn Ihre Kamera ein Bild zum Zeitpunkt t stempelt und Ihr Kraftsensor einen Messwert zum Zeitpunkt t plus 3 ms stempelt, welche Aktion ordnet das Modell welcher Beobachtung zu? Machen Sie das falsch, bringen Sie der Policy eine kausale Lüge bei: erst drücken, dann sehen, statt erst sehen, dann drücken.
Deshalb tastet jeder ernstzunehmende Datensatz neu ab. Die Rohströme kommen mit ihren nativen Raten an und werden auf eine gemeinsame Zeitlinie ausgerichtet, meist die Regelfrequenz, per Interpolation oder Nächster-Nachbar-Zuordnung je Kanal. Genau hier zahlt sich die Formulierung „240 Hz Erfassung, 30 Hz Ausgabe“ aus: Sie zeichnen schnell auf, um die schnellen Ereignisse einzufangen, und tasten dann gezielt auf die Rate herunter, die die Policy konsumiert, während die hochratigen Kanäle für jeden verfügbar bleiben, der sie später braucht. Das Datensatzformat LeRobot von Hugging Face verankert Zeitstempel je Feature genau deshalb, damit diese Ausrichtung reproduzierbar ist und nicht bloß Überlieferung.
Werfen Sie die Zeitstempel weg, können Sie die Ausrichtung nie wieder nachvollziehen. Das ist der stille Grund, warum rohe, hochratige, sauber gestempelte Erfassung mehr wert ist als vorgefertigte 30-Hz-Clips: Die Clips haben bereits Entscheidungen getroffen, die man nie wieder rückgängig machen kann.
Was die öffentlichen Datensätze tatsächlich takten
Die Zahlen in den offenen Korpora machen die Spannbreite konkret.
- DROID kombiniert einen Franka-Arm mit drei Kameraperspektiven und veröffentlicht Trajektorien mit einer Regelfrequenz in der Größenordnung von 15 Hz, eine bewusst bescheidene Zahl, gewählt, damit eine gelernte Policy mithalten kann. Siehe den DROID-Datensatz.
- Ego4D, Tausende Stunden menschliches Video aus der Ich-Perspektive, wird mit 30 fps verteilt: gut genug, um menschliche Absicht und Handbewegung zu lesen, grob für schnellen Kontakt, genau der Kompromiss, den seine Entwickler für die Skalierung in Kauf genommen haben. Siehe Ego4D.
- Open X-Embodiment fügt mehr als sechzig Datensätze über 22 Roboter-Embodiments zusammen, deren Regelfrequenzen sich über etwa 3 bis 30 Hz erstrecken, weshalb jeder, der über sie hinweg trainiert, zuerst neu abtasten muss. Ein Modell, das diese Diskrepanz ignoriert, lernt über uneinheitliche Takte hinweg. Siehe Open X-Embodiment.
Wenn also das nächste Datenblatt mit einer einzelnen großen Zahl prahlt, fragen Sie: 240 wovon, und gegen welchen Takt? Die interessante Ingenieurskunst steckt nie in der Spitzenrate. Sie steckt in der ehrlichen Lücke zwischen der Geschwindigkeit, mit der ein Roboter die Welt wahrnimmt, und der Geschwindigkeit, mit der er zu handeln wagt, und darin, genug vom schnellen Signal aufzubewahren, damit die Wahl, sie neu zu treffen, bei Ihnen bleibt.