Ein VLA in Echtzeit betreiben: das Problem der Inferenzlatenz

Ein Humanoid, der nach einer fallenden Tasse greift, hat kein Fünftel einer Sekunde Zeit zum Nachdenken. Die Tasse bewegt sich, der Kontakt steht bevor, und die Hand muss ankommen, bevor die Physik ohne sie zu Ende kommt. Der Controller eines Roboters lebt im Takt einer Uhr: Er muss alle paar Dutzend Millisekunden einen neuen Befehl ausgeben, ununterbrochen, sonst reißt die Bewegung ab. Diese Einschränkung taucht in einem Demo-Video fast nie auf, doch genau sie entscheidet darüber, ob eine Policy es in den Einsatz schafft.

Hier liegt die Spannung. Die stärksten Manipulations-Policies von heute sind große Vision-Language-Action-Modelle: Transformer mit Milliarden Parametern, die Kamerabilder und eine Sprachanweisung einlesen und Motorbefehle zurückgeben. Ein einzelner Forward Pass durch ein solches Modell braucht reale, messbare Zeit, oft in der Größenordnung von 100 Millisekunden auf der Einsatzhardware. Die Welt verändert sich unterdessen weiter im Bereich mehrerer Dutzend Hertz. Lässt man das Modell naiv laufen, einmal pro Steuerschritt, stottert der Roboter: Er wartet, handelt auf Basis veralteter Wahrnehmung, wartet erneut.

Diese Lücke zu schließen ist kein einzelner Kunstgriff, sondern ein ganzer Stapel davon, und jeder hinterlässt einen Fingerabdruck in den Daten, die erfasst werden müssen. Latenz wird gewöhnlich unter Systems Engineering verbucht, doch die Lösungen reichen zurück bis dahin, wie eine Demonstration überhaupt aufgezeichnet werden muss.

Die Uhr, die der Roboter nicht verpassen darf

Beginnen wir grob mit den Zahlen. Ein Controller für feinmotorische Manipulation will sich, je nach Aufgabe und Hardware, irgendwo zwischen 30 und 200 Hz aktualisieren. Nennen wir es 50 Hz für ein zweiarmiges Tischsystem: ein neues Ziel alle 20 Millisekunden. Ein Forward Pass eines großen VLA auf einer Onboard-GPU ist weit langsamer, üblicherweise 50 bis 200 Millisekunden, sobald man Visual Encoder, Sprach-Backbone und Action Decoder mitrechnet. Selbst am optimistischen Ende trifft das Modell eine Entscheidung in der Zeit, in der der Controller fünf wollte.

Man kann den Controller nicht einfach langsamer laufen lassen. Senkt man eine Manipulationsschleife auf 5 Hz, bricht kontaktreiche Bewegung zusammen: Der Greifer schießt über das Ziel hinaus, Kraftspitzen bleiben unkorrigiert, alles Dynamische ist aussichtslos. Die eigentliche Frage ist also nie, wie man einen Forward Pass augenblicklich macht. Sie lautet, wie man eine schnelle Regelschleife von einem langsamen Modell gespeist hält, ohne dass eines auf das andere wartet. Jede der folgenden Techniken ist eine Antwort darauf.

Action Chunking verschafft Zeit

Der erste und wichtigste Schritt besteht darin, dem Modell nicht länger nur eine einzelne Aktion abzuverlangen. Stattdessen sagt die Policy in einem Durchgang einen kurzen Horizont künftiger Aktionen voraus, einen Chunk, und der Controller spielt diesen Chunk Schritt für Schritt ab, während die nächste Inferenz bereits läuft. Liefert ein Forward Pass eine halbe Sekunde Bewegung bei 50 Hz, sind das fünfundzwanzig Befehle aus einem einzigen Denkvorgang. Die Latenz des Modells wird über den gesamten Chunk amortisiert, statt jeden einzelnen Schritt zu blockieren. Deshalb sagt praktisch jedes ernstzunehmende VLA, darunter Physical Intelligences π0-Reihe, Chunks statt einzelner Schritte voraus.

Ein Chunk ist allerdings eine Wette auf die Zukunft. Je länger der Horizont, desto mehr agiert der Roboter im offenen Regelkreis und führt einen Plan aus, der auf inzwischen veralteter Wahrnehmung beruht. Legt man sich auf einen zu langen Chunk fest, hört die Policy auf zu reagieren: Sie beendet einen Griff nach einer Tasse, die sich längst weiterbewegt hat. Ist er zu kurz, zahlt man wieder alle paar Schritte den Latenz-Zoll. Die Chunk-Länge ist ein direkter Kompromiss zwischen Reaktionsfähigkeit und Rechenaufwand, abgestimmt auf die jeweilige Aufgabe.

Eine Policy, die in Schüben denkt und dazwischen im offenen Regelkreis handelt, kann nur so gut sein wie die Daten, die schnell genug erfasst und präzise genug getaktet wurden, um jeden Schritt zu überwachen, den sie allein gehen wird.

Asynchrone Inferenz und die Reflexebene

Chunking allein hat noch eine Naht. Wenn ein Chunk endet, muss der nächste bereitstehen, und ist die Inferenz langsam, pausiert der Roboter entweder oder ruckt, wenn ein neuer Plan den alten überschreibt. Asynchrone Inferenz verbirgt diese Naht: Der nächste Chunk wird im Hintergrund berechnet, während der aktuelle noch läuft, und beide werden an der Grenze überblendet, sodass der Wechsel fließend ist statt ein Sprung. Physical Intelligence hat genau diese Art von Echtzeit-Chunking beschrieben: Die nächste Aktionssequenz wird erzeugt, bevor die aktuelle ausläuft, sodass der Roboter nie stehen bleibt, weil er auf das Gehirn wartet.

Eine zweite, strukturelle Antwort besteht darin, das Modell nach Geschwindigkeit aufzuteilen. NVIDIAs Isaac GR00T baut auf einem Zwei-System-Design auf, das lose der menschlichen Kognition entlehnt ist: einem langsameren System 2, einem Vision-Language-Modell, das über die Szene und das Ziel nachdenkt, und einem schnelleren System 1, das diese Absicht in hochfrequente Bewegung übersetzt. Die langsame Hälfte läuft mit wenigen Hertz, die schnelle Hälfte mit der Steuerfrequenz. Google DeepMind hat denselben Instinkt bis an den Edge getrieben, mit einer On-Device-Version von Gemini Robotics, einem kleineren Modell, das lokal läuft, sodass der Weg von Wahrnehmung zu Aktion nie zu einem Server hin und zurück muss. Das Muster wiederholt sich über Labore hinweg: ein schweres Modell gibt gelegentlich die Richtung vor, ein leichtes übernimmt die Reflexe im Millisekundentakt.

Das Modell verkleinern: Destillation und Quantisierung

Die andere Hälfte des Werkzeugkastens setzt am Forward Pass selbst an, wobei zwei Techniken dominieren.

Destillation trainiert eine kleine Student-Policy darauf, ein großes Teacher-VLA nachzuahmen. Das große Modell erzeugt oder bewertet Verhalten; das kompakte Modell lernt, es mit einem Bruchteil der Parameter und der Latenz zu reproduzieren. Man tauscht einen Teil der Generalisierungsfähigkeit des Teachers gegen eine Policy ein, die ins Rechenbudget des Roboters passt und die Steuerfrequenz erreicht. Quantisierung behält dasselbe Netz bei, verkleinert aber dessen Zahlen, von 16-Bit-Fließkommazahlen zu 8-Bit- oder sogar 4-Bit-Ganzzahlen, was den Speicherverkehr reduziert und die Matrixmultiplikationen beschleunigt, die die Inferenz dominieren. Sorgfältig durchgeführt kostet sie kaum Genauigkeit; unachtsam durchgeführt untergräbt sie genau die feinmotorische Präzision, die eine Manipulations-Policy am dringendsten braucht.

Keine der beiden ist kostenlos, und beide wirken auf alles zuvor Genannte zurück. Eine destillierte Reflex-Policy lässt sich leichter asynchron ausführen, plant aber zuverlässig nur einen kürzeren Horizont. Ein quantisiertes Modell ist schneller, aber verrauschter, was die Anforderungen an die Sauberkeit seiner Trainingsdaten erhöht. Ein Großteil der veröffentlichten Erkenntnisse zu diesen Kompromissen findet sich in der Robotik-Literatur statt auf Produktseiten, und sie entwickelt sich schnell weiter.

Latenz ist auch ein Datenproblem

Nun zum roten Faden. Jede dieser Lösungen setzt etwas über die zugrunde liegenden Daten voraus, und meist dasselbe: dass die Demonstrationen schnell, dicht und mit präzisem Timing aufgezeichnet wurden.

Chunking ist der klarste Fall. Um eine Policy zu trainieren, die bei 50 Hz eine halbe Sekunde Aktion ausgibt, muss die Demonstration diese halbe Sekunde bei 50 Hz enthalten. Aktionen werden pro Schritt überwacht, also braucht ein Chunk aus fünfundzwanzig Befehlen fünfundzwanzig Ground-Truth-Ziele, die mit der Frequenz erfasst wurden, mit der der Roboter später laufen wird. Erfasst man dieselbe Aufgabe mit 10 Hz, gibt es kein 50-Hz-Signal zu lernen: Die feine Korrektur zwischen den Abtastwerten wurde nie aufgezeichnet, und keine Interpolation erfindet sie nachträglich. Die Steuerfrequenz, die man beim Einsatz will, setzt eine Untergrenze für die Erfassungsfrequenz, die man bei der Datenerfassung brauchte.

Asynchrones Blending fügt eine Anforderung an das Timing hinzu. Trägt die Datenspur eine unregelmäßige oder unbekannte Latenz zwischen einem Kamerabild und der dagegen protokollierten Aktion, lernt die Policy eine verschmierte Zuordnung, und das Aneinanderfügen von Chunks in Echtzeit verstärkt diese Verschmierung. Destillation und Quantisierung fügen eine Anforderung an die Qualität hinzu: Ein kleinerer oder niedriger aufgelöster Student hat weniger Kapazität, Rauschen herauszumitteln, und braucht deshalb sauberere, konsistentere Demonstrationen, um dieselbe Zuverlässigkeit zu erreichen. Schnellere, engere, präziser getaktete Daten sind für Echtzeit-Steuerung kein Luxus. Sie sind die Voraussetzung.

Latenz ist am Ende keine Fußnote zum Modell. Sie ist die Disziplin, die die physische Welt ihm auferlegt. Ein VLA, das offline glänzt, ist wertlos, wenn es nicht innerhalb des Zeitfensters antworten kann, das die Aufgabe erlaubt, und jede Methode, die ihm dieses Fenster verschafft, von in Chunks unterteilten Horizonten bis zu destillierten Reflexen, verlangt rückwirkend Daten, die schneller aufgezeichnet und präziser getaktet sind, als der Roboter sich je bewegen wird. Die Modelle werden immer schneller werden. Die schwerere, leisere Frage ist, ob die Aufzeichnung, aus der sie gelernt haben, von Anfang an schnell genug war.