Was ist ein robotisches Foundation Model? VLAs erklärt
GR00T, pi0 und Gemini Robotics sind robotische Foundation Models, keine Chatbots. Was ein VLA ist, wie es sich von einem LLM unterscheidet, und warum Daten der schwierige Teil sind.
Bitten Sie einen Chatbot, Ihnen zu erklären, wie man ein Hemd faltet, und er überreicht Ihnen eine ordentliche, nummerierte Liste. Bitten Sie einen Roboterarm, der denselben Chatbot ausführt, das Hemd tatsächlich zu falten, und es passiert nichts. Die Worte sind alle da. Das Hemd liegt genau dort, wo es lag. Irgendwo zwischen dem Absatz und dem Stoff erschöpft sich die Intelligenz.
Diese Lücke zu schließen ist das gesamte Projekt hinter einem robotischen Foundation Model. Ein System wie NVIDIAs Isaac GR00T, Physical Intelligences pi0 oder Google DeepMinds Gemini Robotics ist kein Chatbot, dem man Arme angeschraubt hat. Es ist eine andere Art von Modell, trainiert auf einer anderen Art von Daten, und bewertet nach einem nüchterneren Test: Hat sich das Objekt tatsächlich bewegt.
Die Kurzform für diese Modellfamilie ist VLA, kurz für vision-language-action model (Vision-Sprache-Aktions-Modell). Der Name ist zugleich die Idee. Es liest Pixel, es liest eine Anweisung in einfacher Sprache, und statt einen Satz auszugeben, gibt es eine Aktion aus. Genau im dritten Buchstaben steckt die Schwierigkeit.
Was das Wort foundation verspricht
Der aus dem Sprachbereich entlehnte Begriff Foundation Model trägt ein konkretes Versprechen: ein großes Modell auf breiten Daten trainieren und es dann auf viele Aufgaben anpassen, ohne jedes Mal von vorn zu beginnen. Bei Text wurde dieses Versprechen weitgehend eingelöst. Ein einziges Basismodell entwirft heute mit ein wenig Steuerung E-Mails, schreibt Code und beantwortet juristische Fragen.
Die Robotik will denselben Hebel. Eine einzige vortrainierte Policy, die man auf eine neue Küche, ein neues Bauteil, einen neuen Greifer ansetzen kann, mit einer bescheidenen Menge aufgabenspezifischer Daten statt jedes Mal einem neuen, mehrjährigen Projekt. Das ist das Versprechen. Ob sich die physische Welt dieser Idee gegenüber als ebenso großzügig erweist wie der Text, ist noch eine offene Frage, und sie wird gerade jetzt auf die Probe gestellt.
Von Worten zu Motorbefehlen
Beginnen wir mit dem, was sich nicht ändert. Ein VLA und ein großes Sprachmodell teilen sich die meiste Verkabelung. Beide sind in der Regel Transformer. Beide werden auf einem großen Korpus vortrainiert und anschließend ausgerichtet. Viele VLAs werden direkt auf einem vortrainierten Vision-Sprache-Modell aufgebaut, sodass der Roboter bereits weiß, was eine Tasse ist und was das Wort „daneben“ bedeutet, bevor er überhaupt aufgefordert wird, irgendetwas zu bewegen.
Die Weiche stellt sich am Ausgang. Ein LLM sagt den nächsten Text-Token voraus. Ein VLA sagt die nächste Aktion voraus: einen Satz von Gelenkwinkeln, ein Öffnen oder Schließen des Greifers, eine kleine Bewegung des Handgelenks, zig Mal pro Sekunde. Googles RT-2 machte diesen Schritt nachvollziehbar, indem es Roboteraktionen schlicht als eine weitere Sprache behandelte, die dem Modell beigebracht werden konnte. Dasselbe Netzwerk, das die Objekte auf einem Tisch benennen konnte, konnte auch die Zahlen erzeugen, die eine Hand auf eines davon zubewegten. Gemini Robotics ist der aktuelle Nachfahre dieser Linie.
Warum ein VLA kein LLM mit Armen ist
Die gemeinsame Architektur verdeckt, wie unterschiedlich die Aufgabe tatsächlich ist. Stellt man beide nebeneinander, tritt die Divergenz deutlich hervor.
| Eigenschaft | Sprachmodell | Vision-Sprache-Aktions-Modell |
|---|---|---|
| Ausgabe | Der nächste Text-Token | Die nächste Motoraktion: Gelenkwinkel, Greiferzustand |
| Regelkreis | Offener Kreis, eine Antwort, dann fertig | Geschlossener Kreis, viele Male pro Sekunde neu entschieden |
| Takt | Eine langsame Antwort ist bloß lästig | 200ms zu spät, und die Tasse liegt am Boden |
| Trainingsdaten | Text, den die Menschheit bereits geschrieben hat | Demonstrationen, die jemand physisch aufzeichnen muss |
| Eine falsche Antwort | Eine Korrektur, ein neuer Versuch | Ein fallengelassenes Glas, ein verbogenes Teil, ein Sicherheitsvorfall |
| Verkörperung | Keine; Text ist überall Text | Gebunden an die Gelenke, die Reichweite und die Hand eines einzigen Körpers |
Liest man die rechte Spalte von oben nach unten, summieren sich die Probleme. Ein VLA läuft in einem geschlossenen Kreis: Es handelt, die Welt verändert sich, es schaut erneut hin, es handelt erneut, und all das muss es in Echtzeit durchhalten, während Reibung und Kontakt Dinge tun, die keine Bildunterschrift vorausgesehen hat. Es ist an einen Körper gebunden, sodass eine auf einem Roboter erlernte Fähigkeit den Wechsel zu einem anderen mit anderen Armen nicht automatisch übersteht. Und es gibt kein Rückgängig. Dieser letzte Punkt ist keine Nebensächlichkeit.
Ein Sprachmodell kann sich irren, und man drückt auf Wiederholen. Ein robotisches Foundation Model, das sich irrt, hat das Glas bereits vom Tisch gestoßen. Nichts in der physischen Welt wird mit einer Rückgängig-Taste ausgeliefert.
Die Modelle, deren Namen man kennen sollte
Drei Bezugspunkte decken die meisten Gespräche ab. NVIDIAs Isaac GR00T zielt auf Humanoide und stützt sich stark auf Simulation und synthetische Bewegung, um Trainingsdaten in großem Volumen zu erzeugen. Physical Intelligences pi0 ist eine Cross-Embodiment-Policy, die darauf ausgelegt ist, Demonstrationen von vielen verschiedenen Robotern aufzunehmen und über Hardware-Grenzen hinweg zu generalisieren. Gemini Robotics von Google DeepMind setzt ein starkes Vision-Sprache-Rückgrat hinter den Aktionskopf, sodass breites Webwissen in physische Aufgaben einfließt. Sie unterscheiden sich in der Gewichtung, nicht in der Art. Alle drei sind VLAs. Alle drei wetten darauf, dass eine generalistische Policy tausend handjustierte Skripte schlägt.
Warum Daten, nicht Architektur, der schwierige Teil sind
Hier kommt die Wendung, die alle überrascht, die an Sprachmodelle gewöhnt sind. Die Architekturen werden weitgehend geteilt und sind weitgehend öffentlich. Man kann die Papers lesen. Der Engpass ist kein geheimes Netzwerkdesign. Es sind die Daten.
Text skalierte, weil das Internet ein Nebenprodukt menschlicher Kommunikation ist; der Trainingsdatensatz schrieb sich von selbst. Für Manipulation gibt es kein vergleichbares Abfallprodukt. Niemand trug ein Sensor-Rig und protokollierte Kraft und Handpose, während er zehntausend Geschirrspüler einräumte. Diese Aufzeichnung muss absichtlich hergestellt werden. Initiativen wie Open X-Embodiment bündelten Roboterdemonstrationen aus Dutzenden Labors, und offene Stacks wie Hugging Faces LeRobot senkten die Hürde, mehr davon zu sammeln und zu teilen, doch die Gesamtmengen sind winzig im Vergleich zu dem, was ein Textmodell nebenbei verschlingt. Das Modell kann nur nachahmen, was ihm gezeigt wurde. Zeigt man ihm zu wenig von der physischen Welt, bleibt es ein sehr wortgewandtes System, das das Hemd nicht falten kann.
Ein robotisches Foundation Model ist also kein Sprachmodell, das gelernt hat, sich zu bewegen. Es ist eine Wette, dass sich Intelligenz über die physische Welt so trainieren lässt, wie Intelligenz über Text trainiert wurde: ein großes Modell, breite Daten, dann anpassen. Die Architekturfrage ist größtenteils beantwortet. Offen bleibt, ob wir genug der richtigen Demonstrationen sammeln können, damit sich die Wette auszahlt, und das ist ein Problem, das man mit Sensoren und Geduld löst, nicht mit einem raffinierteren Netzwerk.