什么是机器人基础模型?VLA 讲解

GR00T、pi0 和 Gemini Robotics 都是机器人基础模型,而非聊天机器人。VLA 是什么,它与 LLM 有何不同,以及为何数据才是真正的难点。

阅读约 6 分钟

让聊天机器人告诉你怎么叠一件衬衫,它会递给你一份工整、编号清晰的清单。让一条运行着同一个聊天机器人的机械臂真去把衬衫叠好,却什么也不会发生。文字全都在。衬衫还在原处。在段落和布料之间的某个地方,智能耗尽了。

弥合这道鸿沟,正是机器人基础模型(robot foundation model)这整件事要做的事。像 NVIDIA 的 Isaac GR00T、Physical Intelligence 的 pi0,或 Google DeepMind 的 Gemini Robotics 这样的系统,并不是装上了手臂的聊天机器人。它是另一类模型,训练在另一类数据上,用一套更直白的标准来评判:物体到底动了没有。

这一类模型的简称是 VLA,即视觉-语言-动作模型(vision-language-action model)。这个名字本身就是它的全部思路。它读取像素,读取一句自然语言指令,然后不是吐出一句话,而是输出一个动作。全部的难度,都藏在最后那个字母里。

foundation 这个词承诺了什么

基础模型这个说法借自语言领域,带着一个明确的承诺:在广泛的数据上训练一个大模型,然后把它适配到许多任务上,而不必每次从零开始。在文本里,这个承诺基本兑现了。如今一个底座模型稍加引导,就能起草邮件、编写代码、回答法律问题。

机器人领域想要同样的杠杆:一个预训练好的策略,指向一个新厨房、一个新零件、一个新夹爪,只需少量任务专属数据,而不是每次都重启一个耗时数年的项目。这是它的卖点。物理世界是否会像文本那样慷慨地兑现这个设想,仍是一个悬而未决的问题,而它此刻正在被验证。

从词语到电机指令

先说不变的部分。VLA 和大语言模型(LLM)共享大部分底层构件。两者通常都是 transformer。两者都在庞大语料上预训练,然后再做对齐。许多 VLA 直接搭建在一个预训练好的视觉-语言模型之上,于是机器人在被要求移动任何东西之前,就已经知道杯子是什么、"旁边"这个词是什么意思。

分岔发生在输出端。LLM 预测下一个文本 token。VLA 预测下一个动作:一组关节角度、夹爪的张或合、手腕的一次微小移动,每秒重复数十次。Google 的 RT-2 让这一步变得直观:它把机器人动作当成模型可以被教会说的另一种语言。同一个能叫出桌上物体名字的网络,也能产出驱动一只手伸向其中之一的数值。Gemini Robotics 就是这一脉络当下的延续。

为什么 VLA 不是装了手臂的 LLM

共享架构掩盖了两者工作的巨大差异。把它们并排放在一起,分歧一目了然。

视觉-语言-动作模型与它所依赖的语言模型之间的分野
属性语言模型视觉-语言-动作模型
输出下一个文本 token下一个电机动作:关节角度、夹爪状态
回路开环,一次回复即结束闭环,每秒重新决策许多次
时钟回答慢一点只是恼人晚 200ms,杯子就摔在地上
训练数据人类已经写好的文本必须有人亲手录制的示范
答错了改一下、重试一次摔碎的杯子、弯折的零件、一次安全事故
具身没有;文本在哪里都是文本绑定于某一具身体的关节、可达范围与手

顺着右边这一列读下去,麻烦不断累积。VLA 运行在闭环里:它动作,世界随之改变,它再看一眼,再动作,而且必须实时地把这件事持续下去,同时摩擦和接触会做出任何文字说明都没预料到的事。它绑定于一具身体,所以在一台机器人上学到的技能,换到另一台手臂不同的机器人上并不会自动存活。而且它没有撤销键。最后这一点不是细枝末节。

语言模型答错了,你按一下重试。答错了的机器人基础模型,已经把玻璃杯从桌上碰掉了。物理世界里的任何东西都不附带撤销键。

值得记住名字的几个模型

三个参照点足以覆盖大多数讨论。NVIDIA 的 Isaac GR00T 面向人形机器人,重度依赖仿真与合成运动来批量制造训练数据。Physical Intelligence 的 pi0 是一个跨具身(cross-embodiment)策略,设计上要吸收来自许多不同机器人的示范并跨硬件泛化。来自 Google DeepMind 的 Gemini Robotics,则在动作头之后放了一个强大的视觉-语言骨干,让广博的网络知识延伸进物理任务。它们的差异在侧重,而非种类。三者都是 VLA。三者都在押注:一个通用策略胜过一千段手工调校的脚本。

为什么难的是数据,而不是架构

这里有一个让熟悉语言模型的人意外的转折。架构大体是共享且公开的,论文你都读得到。瓶颈不是某个秘密的网络设计。瓶颈是数据。

文本能够扩展,是因为互联网本身就是人们交流的副产品;训练集自己写好了自己。操控(manipulation)没有对应的这种废气。没有人在装满一万台洗碗机时,身上戴着传感器套装、记录着力与手部姿态。这份记录必须被刻意生产出来。像 Open X-Embodiment 这样的努力把几十个实验室的机器人示范汇集到一起,而像 Hugging Face 的 LeRobot 这样的开源栈降低了采集与共享的门槛,但这些总量,与一个文本模型不动声色就吞下的规模相比,仍然渺小。模型只能模仿它被展示过的东西。给它看的物理世界太少,它就仍旧是一个能言善辩、却叠不好那件衬衫的系统。

所以,机器人基础模型不是一个学会了移动的语言模型。它是一个赌注:关于物理世界的智能,可以像关于文本的智能那样被训练出来,一个大模型、广泛数据,然后适配。架构问题大体已有答案。悬而未决的那个是,我们能否收集到足够多、足够对的示范,让这个赌注划算,而这是一个要用传感器和耐心去解决的问题,而不是靠一个更聪明的网络。

vlarobot-foundation-modelfoundationsphysical-ai

来源