Vision-Language-Action-Modelle: Eine allgemeinverständliche Einführung

Im Jahr 2023 stand ein Roboterarm bei Google vor einem Tisch voller Objekte, darunter eine Plastikfigur eines Dinosauriers. Die gesprochene Anweisung war bewusst ungewöhnlich gewählt. Nicht „Nimm den Dinosaurier", sondern „Nimm das ausgestorbene Tier". Der Arm griff über den Tisch und schloss seinen Greifer um die Dinosaurierfigur. Niemand hatte eine Regel geschrieben, die „ausgestorbenes Tier" auf „Dinosaurier" abbildet, und kein Robotiker hatte dieses Spielzeug von Hand annotiert. Das Modell, RT-2 genannt, hatte diese Assoziation aus denselben webweiten Bild- und Textdaten aufgenommen, die auch einem Chatbot beibringen, was ein Dinosaurier ist, und es hatte gelernt, dieses Wissen in einen Motorbefehl zu übersetzen.

Diese von Google DeepMind veröffentlichte Demonstration ist die klarste Illustration dessen, wofür ein Vision-Language-Action-Modell, oder VLA, gedacht ist. Ein VLA ist ein einzelnes neuronales Netz, das Kamerapixel und einen Satz liest und die systemnahen Befehle ausgibt, die einen Roboter bewegen. Das Interessante daran ist nicht die geschickte Bezeichnung. Es ist die Verschaltung: wie ein System, das zur Beschreibung von Bildern gebaut wurde, am Ende Gelenkbewegungen erzeugt, und warum das den handgefertigten Pipelines überlegen ist, die die Robotik jahrzehntelang dominiert haben.

Dieser Leitfaden geht diese Verschaltung ohne die Mathematik durch. Was das Modell sieht, woher sein Sprachverständnis stammt, wie aus einer kurzen Anweisung ein Strom von Motorbefehlen wird, und, genauso wichtig, wo der gesamte Ansatz noch scheitert.

Ein einziges Netz statt drei Boxen

Klassische Roboterautonomie war ein Staffellauf zwischen Spezialisten. Ein Wahrnehmungsmodul zog Kästen um Objekte. Ein Planer verwandelte diese Kästen in eine Bahn. Ein Regler verfolgte die Bahn. Jede Stufe wurde von Hand konstruiert und abgestimmt, und jede Naht zwischen den Stufen war eine mögliche Fehlerquelle. Ein VLA verdichtet diesen Staffellauf zu einer einzigen gelernten Funktion. Ein Netz liest die Szene, liest die Anweisung und gibt Aktionen aus, trainiert anhand von Beispielen statt aus Einzelteilen zusammengesetzt.

Konkret besteht die Eingabe aus einer Handvoll Kamerabildern plus einer Textzeichenkette wie „Stell die Tasse in die Spüle". Die Bilder durchlaufen einen Vision-Encoder, typischerweise einen Vision Transformer, der Pixel in ein Gitter aus Merkmalsvektoren umwandelt. Die Wörter werden auf dieselbe Weise tokenisiert wie bei jedem Sprachmodell. Beide Datenströme fließen in einen Transformer, der darauf vortrainiert wurde, gemeinsam über Bilder und Text zu schlussfolgern. Was dabei herauskommt, ist keine Bildunterschrift. Es ist eine Aktion.

Das Rückgrat war zuerst ein Chatbot

Der Grund, warum ein VLA auf „das ausgestorbene Tier" reagieren kann, ist, dass es nicht als Robotermodell ins Leben startet. Es beginnt als Vision-Language-Modell, oder VLM, vortrainiert auf riesigen Mengen an Internetbildern und -texten. Aus diesem Vortraining stammen Objektnamen, räumliche Beziehungen und ein grober physikalischer Alltagsverstand. Erst danach wird das Modell mit Roboterdaten feinabgestimmt, wobei es lernt, dieses Verständnis an Aktionen zu koppeln.

Die Abstammungslinie ist leicht nachzuvollziehen. RT-2 wurde auf Googles PaLI-X- und PaLM-E-Backbones aufgebaut. Gemini Robotics baut auf Gemini 2.0 auf. Das π0 von Physical Intelligence kombiniert ein PaliGemma-Vision-Language-Modell mit einem eigenen Aktionsmodul. NVIDIAs Isaac GR00T N1 teilt die Aufgabe in ein langsames, überlegendes System auf Basis eines VLM und ein schnelles, reaktives System, das Bewegung erzeugt. Das Muster ist immer gleich: das internetgroße Gehirn behalten, eine Art zu bewegen aufpfropfen.

Die Feinheit besteht darin, nicht zu vergessen. Wird zu stark auf einen engen Satz von Roboterdemonstrationen feinabgestimmt, verliert das Modell das breite Wissen, das es überhaupt erst nützlich gemacht hat. Teams wirken dem mit Co-Fine-Tuning entgegen: Sie mischen Roboterdaten wieder mit den ursprünglichen Webdaten, damit die Sprach- und Bildverarbeitungsfähigkeiten den Transfer überstehen.

Ein VLA lernt nicht wirklich, sich zu bewegen. Es lernt, das, was es sieht und hört, mit dem zu verknüpfen, was zuvor funktioniert hat, und wettet dann darauf, dass diese Verknüpfung eine Demonstration weiter trägt als alles, was in seinem Trainingsdatensatz enthalten war.

Aus Absicht wird Drehmoment

Ein Roboter braucht Zahlen: Gelenkwinkel, Greiferbreiten, Geschwindigkeiten des Endeffektors, viele Male pro Sekunde. Es gibt zwei vorherrschende Wege, wie ein VLA sie erzeugt.

Der erste Weg besteht darin, Aktionen als Sprache zu behandeln. RT-2 zerlegt jeden Freiheitsgrad in einige Hundert Bins und verwendet selten genutzte Text-Token, um sie darzustellen, sodass das Vorhersagen einer Aktion buchstäblich derselbe Vorgang ist wie das Vorhersagen eines Wortes. Ordentlich, aber grob, und langsam beim Ausgeben langer Sequenzen. Der zweite Ansatz hält Aktionen kontinuierlich und erzeugt sie mit einem Diffusions- oder Flow-Matching-Prozess, derselben Methodenfamilie, die auch hinter Bildgeneratoren steckt. π0 nutzt Flow Matching, um glatte, hochfrequente Aktionsblöcke auszugeben, und die Large Behavior Models des Toyota Research Institute verwenden Diffusion aus demselben Grund.

Beide Ansätze sagen inzwischen einen ganzen Block künftiger Aktionen auf einmal voraus statt Schritt für Schritt, ein Kniff, der durch Action Chunking populär wurde und der die Bewegung glättet und die Latenz eines großen Modells verbirgt. Das muss er auch. Ein Netz mit Milliarden Parametern kann nicht in jedem Regelzyklus laufen, also sagt das System einen kurzen Bewegungsschub voraus, führt ihn aus und plant erneut. Diesen Regelkreis auf realer Hardware mit mehreren Dutzend Hertz laufen zu lassen, ist ein großer Teil der technischen Arbeit.

Das Datenproblem, dem niemand entkommt

Sprachmodellen stand das öffentliche Internet zur Verfügung. Roboter haben nichts Vergleichbares. Ein VLA ist nur so allgemein wie die Demonstrationen, die es gesehen hat, und hochwertige Demonstrationen werden eine teleoperierte Episode nach der anderen gesammelt. Die Antwort des Feldes war bislang, die Daten zu bündeln.

Open X-Embodiment sammelte mehr als eine Million Trajektorien über 22 Robotertypen aus über 20 Laboren, und Modelle, die auf dieser Mischung trainiert wurden, generalisierten besser, als es ein Datensatz aus einem einzigen Labor je erlaubt hätte. DROID fügte rund 76.000 teleoperierte Demonstrationen hinzu, aufgezeichnet in Hunderten Szenen auf drei Kontinenten. Eine andere Wette ist, von Menschen zu lernen: Ego-Exo4D und Ego4D erfassen Tausende Stunden Videomaterial aus der Ich-Perspektive von Menschen, weit günstiger zu sammeln als Roboterteleoperation, jedoch mit einer Embodiment-Lücke behaftet, da eine menschliche Hand kein Zweifinger-Greifer ist.

Wo VLAs noch scheitern

Wer sich die Demo-Videos ansieht, hält VLAs für gelöst. Wer eines in einer unbekannten Küche arbeiten sieht, dem zerbricht die Illusion. Generalisierung ist real, aber schmal: Ändert man die Beleuchtung, die Kamerahöhe oder die Unordnung im Hintergrund, können die Erfolgsraten stark einbrechen. Aufgaben mit langem Zeithorizont, solche mit zehn voneinander abhängigen Schritten, bleiben schwierig, weil sich ein kleiner Fehler früh im Ablauf später zu einem Scheitern aufsummiert. Und die Evaluation selbst ist eine stille Krise. Erfolgsraten in der realen Welt sind teuer zu messen, schwanken stark zwischen Durchläufen und lassen sich zwischen Labors kaum reproduzieren, was einen ehrlichen Vergleich zwischen Modellen wirklich schwierig macht.

Das alles ist kein Grund zum Pessimismus. Es ist eine Landkarte davon, wo die Arbeit liegt. Die Architekturfrage ist weitgehend geklärt: ein VLM vortrainieren, einen Aktionsdecoder anfügen, die Ausgaben in Blöcken erzeugen. Die offenen Fragen betreffen Daten und Verlässlichkeit, und beide führen zurück an denselben Punkt.

Wenn das nächste Mal ein Roboter das ausgestorbene Tier aufhebt, schauen Sie über den Trick hinaus. Fragen Sie, was ihm gezeigt wurde, von wem, und wie gut es aufgezeichnet wurde. Diese Antwort wird Ihnen, mehr als jedes Architekturdiagramm, sagen, was die Maschine tatsächlich kann.