Aktions-Tokenisierung in einem VLA, erklärt
Wie Vision-Language-Action-Modelle kontinuierliche Bewegung in diskrete Aktions-Tokens umwandeln, die ein Transformer vorhersagen kann, und warum diese Wahl die Auflösung begrenzt.
RT-2 brachte einem Sprachmodell bei, einen Roboterarm zu bewegen, indem es der Bewegung dieselbe Maschinerie überließ, die es zuvor für Wörter nutzte. Jede Aktionsdimension, die Änderung der Greiferposition, die Rotation und der Öffnen-oder-Schließen-Befehl, wurde normalisiert und in 256 Bins zerlegt. Diese Bins wurden auf 256 Token-IDs abgebildet, die aus dem eigenen Vokabular des Modells entliehen waren. Der Arm bewegte sich, weil der Transformer das nächste Token vorhersagte, genauso, wie er einen Satz zu Ende führen würde.
Dieser Kunstgriff steckt heute unter den meisten Vision-Language-Action-Modellen (VLA). Ein Transformer spricht in diskreten Tokens aus einem festen Vokabular. Ein Roboter spricht in kontinuierlichen Zahlen: Gelenkwinkel, Geschwindigkeiten des Endeffektors, Greiferkräfte, die zehn- bis hundertmal pro Sekunde eintreffen. Etwas muss zwischen beiden übersetzen, und dieses Etwas ist der Aktions-Tokenizer. Man behandelt ihn leicht wie bloße Verrohrung. Das ist er nicht.
Der Tokenizer setzt die Auflösungsobergrenze für alles, was nachgelagert folgt. Er entscheidet, wie viel von einer Demonstration die Reise in das Modell hinein und zurück zu den Motoren übersteht, und er entscheidet, welche Aufgaben das Modell überhaupt darstellen kann. Ein Schema, das bei langsamem Greifen und Ablegen auf dem Tisch sauber funktioniert, kann bei schneller, kontaktreicher Manipulation still und leise zusammenbrechen. Das interessante Ingenieurproblem liegt im Warum.
Der Tokenizer ist ein verlustbehafteter Vertrag
Entfernt man das Branding, beantwortet jeder Aktions-Tokenizer dieselben vier Fragen. Wie werden kontinuierliche Werte zu diskreten Symbolen? Wie werden mehrere Freiheitsgrade zusammengepackt? Wie wird ein mit 50 Hz eintreffender Strom in eine Token-Sequenz verwandelt, die ein Transformer verträgt? Und wie kehrt man das alles um, um wieder eine glatte Bewegung zu erhalten?
Die Standardantwort ist uniformes Binning. Man nimmt jede Aktionsdimension, begrenzt sie auf einen sinnvollen Bereich und quantisiert sie in N Bins, üblicherweise 256, sodass ein Bin in ein Byte passt. RT-2 und später das quelloffene OpenVLA verwendeten für diese Bins selten genutzte Einträge in der eigenen Token-Tabelle des Sprachmodells, was es erlaubte, ein vortrainiertes VLM feinabzustimmen, ohne das Vokabular zu vergrößern. Ein Zeitschritt eines 7-DoF-Arms wird zu sieben Tokens. Eine kurze Trajektorie wird zu einigen Dutzend. Das Modell trainiert mit derselben Next-Token-Kreuzentropie-Verlustfunktion, die es schon immer verwendet hat.
Das ist elegant, und es ist absichtlich verlustbehaftet. Quantisierung wirft die Präzision unterhalb der Bin-Auflösung weg. Die Wiederverwendung von Sprach-Tokens bedeutet, dass die Geometrie des Aktionsraums, die Tatsache, dass Bin 128 zwischen 127 und 129 liegt, nirgends dort codiert ist, wo das Modell sie sehen kann; es muss die Ordnung aus den Daten neu erlernen. Für grobe, langsame Aufgaben schadet das kaum. Erhöht man die Kontrollrate, beginnt es zu schaden.
Ein Tokenizer ist ein verlustbehafteter Vertrag zwischen kontinuierlicher Physik und einem diskreten Modell. Was immer er zum Zeitpunkt der Erfassung verwirft, kann die Policy niemals lernen zu reproduzieren.
Warum Binning versagt, wenn die Hände schnell werden
Hier ist der Fehlermodus, der viele überrascht hat. Tastet man eine Demonstration feinmotorischer Manipulation mit hoher Rate ab, sehen aufeinanderfolgende Aktionen fast identisch aus, weil sich eine Hand in zehn Millisekunden kaum bewegt. Binning pro Zeitschritt verwandelt das in lange Läufe von nahezu wiederholten Tokens. Ein autoregressives Modell, das auf solchen Daten trainiert wird, entdeckt die billigstmögliche Strategie: vorherzusagen, dass das nächste Token gleich dem letzten ist. Die marginale Information pro Token ist winzig, der Verlust sieht gut aus, und die Policy lernt, stillzustehen.
Physical Intelligence stieß beim Training hochfrequenter Policies genau auf diese Mauer und beantwortete sie mit FAST, einem Tokenizer im Frequenzraum. Statt rohe Samples zu binnen, nimmt FAST einen Chunk der Aktionstrajektorie, wendet eine diskrete Kosinustransformation an, behält die Koeffizienten, die echtes Signal tragen, und codiert das Ergebnis per Byte-Pair-Encoding. Ein glatter Chunk kollabiert so zu einer kurzen, dichten Token-Kette, aus der die Redundanz herausgepresst ist. Das erlaubte es einem autoregressiven VLA, ihrer pi0-FAST-Reihe, auf feinmotorischen Daten zu trainieren, die reines Binning nicht fassen konnte. Die Lehre lässt sich verallgemeinern: Das richtige Token ist kein rohes Sample, sondern eine komprimierte Beschreibung einer Bewegung.
Der andere Weg, kontinuierliche Aktionsköpfe
Nicht jedes VLA tokenisiert Aktionen überhaupt. Eine zweite Familie überspringt die Diskretisierung und setzt einen kontinuierlichen generativen Kopf auf die Ausgabe des Transformers. Das pi0 von Physical Intelligence verwendet einen Flow-Matching-Aktionsexperten; NVIDIAs GR00T N1 kombiniert ein Vision-Language-Backbone mit einem Diffusion-Transformer-Aktionskopf; Google DeepMinds Gemini Robotics betreibt ein VLA, das kontinuierliche Low-Level-Befehle ausgibt. In allen drei Fällen erzeugt der Transformer ein Latent, und ein kleiner Kopf tastet daraufhin bedingt einen Chunk kontinuierlicher Aktionen ab.
Der Lohn ist kein Quantisierungsfehler und eine glatte Ausgabe bei hohen Kontrollraten. Der Preis ist, dass man die saubere autoregressive Verlustfunktion mit einem einzigen Vokabular aufgibt, und das Sampling eines Diffusion- oder Flow-Kopfes ist iterativ, was Inferenzzeit kostet, die man ingenieurmäßig zurückgewinnen muss. Das ist gerade jetzt die lebendige Design-Gabelung bei VLAs: Bewegung in diskrete Tokens komprimieren, die der Transformer direkt vorhersagt, oder sie kontinuierlich belassen und für einen separaten Sampler bezahlen. Beides läuft in ernstzunehmenden Systemen, und die Wahl hängt mehr von den Daten als vom Modell ab.
Vier Schemata im Vergleich
Die Optionen lassen sich leichter nebeneinander abwägen. Die folgende Tabelle skizziert, wo jede Repräsentation ihren Nutzen erbringt und was sie kostet.
| Schema | Wie Bewegung zur Ausgabe wird | Stärke | Hauptkosten |
|---|---|---|---|
| Uniformes Binning pro Dimension (RT-2, OpenVLA) | Jede Dimension auf rund 256 Bins quantisiert, abgebildet auf wiederverwendete Sprach-Token-IDs | Einfach; nutzt Vokabular und Verlustfunktion des Pretrainings weiter | Quantisierungsfehler; degradiert bei hohen Kontrollraten |
| Tokenisierung im Frequenzraum (pi0-FAST) | DCT über einen Aktions-Chunk, danach Byte-Pair-Encoding der beibehaltenen Koeffizienten | Trainiert autoregressiv auf schnellen, feinmotorischen Daten | Zusätzlicher Encoding- und Decoding-Schritt; Kompression muss abgestimmt werden |
| Gelerntes vektorquantisiertes Codebook | Aktionssegmente auf Einträge in einem gelernten diskreten Codebook abgebildet | Kompaktes, datenadaptives Vokabular | Codebook-Kollaps; benötigt repräsentative Daten |
| Kontinuierlicher Diffusion- oder Flow-Kopf (pi0, GR00T N1) | Ein kleiner Kopf tastet kontinuierliche Aktions-Chunks aus einem Transformer-Latent ab | Kein Quantisierungsfehler; glatte Ausgabe bei hoher Rate | Iteratives Sampling; keine einzelne autoregressive Verlustfunktion |
Wo Tokenizer undicht werden
Zwei praktische Fallstricke entscheiden darüber, ob all das den Kontakt mit einer echten Flotte übersteht. Der erste ist die Normalisierung. Die Bin-Grenzen werden aus der Statistik der Trainingsdaten festgelegt, sodass eine Policy, die auf den Aktionsbereichen eines Roboters trainiert wurde, auf einem anderen mit anderer Reichweite oder anderem Greiferhub still und leise dekalibriert. Aggregationen wie Open X-Embodiment, das Demonstrationen über viele Roboter-Embodiments hinweg zusammenführte, und große Teleoperations-Datensätze wie DROID existieren teils genau deshalb, um Tokenizer zu zwingen, über diese Bereiche hinweg zu generalisieren, statt sich auf einen Arm zu überanpassen.
Der zweite ist Chunking. Schritt für Schritt vorherzusagen kumuliert Fehler und flutet die Sequenz mit genau der Redundanz, die Binning bricht. Die meisten aktuellen Systeme sagen auf einen Schlag einen kurzen Chunk künftiger Aktionen voraus, was kumulierende Drift reduziert und dem Tokenizer ein Segment gibt, das eine Komprimierung lohnt. Offene Toolkits wie Hugging Faces LeRobot bündeln diese Tokenizer und Chunk-Aktionsköpfe inzwischen direkt, was aus einer früheren Forschungsentscheidung eine Konfigurationsoption macht. Das ist gut für die Geschwindigkeit und leicht gefährlich: Die Standardwerte codieren Annahmen über Frequenz und Embodiment, die nicht zu Ihrem Roboter passen müssen.
Die stille Variable
Aktions-Tokenisierung schafft es selten in die Schlagzeile, wenn ein neues VLA erscheint, dabei sollte sie es. Sie ist die Schicht, in der die Ambitionen eines Modells auf die Auflösung seiner Daten treffen, und sie ist die erste Stelle, an der ein System aufhört, etwas tun zu können, das es nie darzustellen vermochte. Achten Sie darauf, wenn das nächste Mal ein Labor einen Sprung bei feinmotorischen Aufgaben meldet. Der neue Trick ist oft kein größeres Gehirn. Es ist eine bessere Art, aufzuschreiben, was die Hände getan haben.