视觉-语言-动作模型（VLA）：通俗入门

2023 年，Google 的一条机械臂面前摆着一桌物件，其中包括一只塑料恐龙模型。研究人员给出的口头指令故意有些古怪，不是"拿起那只恐龙"，而是"拿起那种已经灭绝的动物"。机械臂伸过桌面，用夹爪夹起了那只塑料恐龙。没有人写过一条把"灭绝的动物"对应到"恐龙"的规则，也没有机器人专家给那个玩具打过标签。这个名为 RT-2 的模型，从教会聊天机器人"什么是恐龙"的同一批网络规模图文数据里学到了这层联系，并学会把这份知识接到一条运动指令上。

这个由 Google DeepMind 公布的演示，最干净利落地说明了视觉-语言-动作模型（vision-language-action model，简称 VLA）到底是做什么用的。一个 VLA 就是一张神经网络：它读入相机像素和一句话，输出驱动机器人运动的底层指令。有意思的不是那个聪明的标签，而是其中的接线方式：一个本来用于描述图像的系统，如何最终产出了关节运动，以及它为什么能胜过统治机器人学数十年的手工流水线。

这份入门文章不谈数学，带你走一遍这套接线：模型看到了什么，它的语言感从何而来，一句简短的指令如何变成一连串运动指令，以及同样重要的一点，这套方法在哪里仍然会失灵。

一张网络，取代三个盒子

传统的机器人自主是一场专家接力。感知模块给物体画框，规划器把框变成路径，控制器再去跟踪这条路径。每一段都靠人手工设计和调参，而每两段之间的接缝都是可能出错的地方。VLA 把这场接力压缩成一个学习得到的函数：一张网络读取场景、读取指令、输出动作，它是从样例中训练出来的，而不是用零件拼装出来的。

具体来说，输入是若干相机画面，加上一句像"把杯子放进水槽"这样的文本。画面经过一个视觉编码器（通常是 vision transformer），把像素变成一格格特征向量。文字则像任何语言模型那样被切成 token。两路数据一起送进一个已经过预训练、能够同时对图像和文本进行推理的 transformer。从另一端出来的不是一句图像描述，而是一个动作。

骨干原本是个聊天机器人

VLA 之所以能对"灭绝的动物"作出反应，是因为它并非一出生就是机器人模型。它起步于一个视觉语言模型（VLM），在海量互联网图文上完成预训练。物体名称、空间关系、粗略的物理常识，都来自这段预训练。之后模型才在机器人数据上微调，学会把这份理解接到动作上。

这条脉络很好追溯。RT-2 建立在 Google 的 PaLI-X 与 PaLM-E 骨干之上。Gemini Robotics 建立在 Gemini 2.0 之上。Physical Intelligence 的 π0 把一个 PaliGemma 视觉语言模型和一个专门的动作模块配对。NVIDIA 的 Isaac GR00T N1 则把任务拆成两套系统：一套慢速、审慎、基于 VLM，一套快速、反应、负责生成运动。规律始终一致：保留互联网规模的大脑，再嫁接一套运动的方式。

微妙之处在于"遗忘"。如果在一小撮机器人演示上微调得太狠，模型会丢掉当初让它有用的那些广博知识。团队的对策是联合微调（co-fine-tuning），把机器人数据与原始网络数据混在一起训练，让语言和视觉能力在迁移中存活下来。

VLA 其实并不是在学习如何运动。它学的是把看到的、听到的，和过去奏效的做法关联起来，然后赌这层关联能比训练集里见过的任何一次演示，再多撑一步。

把意图变成力矩

机器人需要的是数字：关节角度、夹爪开度、末端执行器速度，而且一秒之内要给出很多次。VLA 产出这些数字，主流有两条路线。

第一条是把动作当成语言。RT-2 把每个自由度切成几百个区间，并复用那些很少用到的文本 token 来表示它们，于是预测一个动作，字面上就和预测一个词是同一种运算。这很利落，但精度粗，而且吐长序列时慢。第二条路线让动作保持连续，用扩散（diffusion）或流匹配（flow matching）过程来生成，正是图像生成器背后的同一类方法。π0 用流匹配输出平滑的高频动作块，Toyota Research Institute 的 Large Behavior Models 出于同样的理由采用扩散。

如今两条路线都不再一步一步地预测，而是一次预测未来的一整块动作，这一技巧由动作分块（action chunking）带火，它让运动更平滑，也把大模型的延迟藏了起来。这是不得不为之：一个十亿参数级的网络无法在每个控制周期都跑一遍，于是系统先预测一小段运动，执行它，再重新规划。让这个回路在真实硬件上以几十赫兹运行，正是工程量的一大部分。

谁都躲不掉的数据难题

语言模型有公开的互联网，机器人却没有任何可与之相比的东西。一个 VLA 有多通用，取决于它见过的演示，而高质量的演示是一次一段遥操作地采集出来的。到目前为止，这个领域的答案是：汇集。

Open X-Embodiment 汇集了来自 20 多家实验室、覆盖 22 种机器人本体的一百多万条轨迹，在这份混合数据上训练出的模型，比任何单一实验室的数据集都泛化得更好。DROID 又补充了大约 76,000 段遥操作演示，录制自三大洲、数百个场景。另一种押注是向人学习：Ego-Exo4D 和 Ego4D 采集了数千小时的第一人称人类视频，它比机器人遥操作便宜得多，却带着一道本体鸿沟，因为人手并不是一个两指夹爪。

VLA 仍然会崩的地方

看那些演示集锦，VLA 仿佛已被解决。可一旦让它在陌生的厨房里干活，幻觉就破了。泛化是真的，但很窄：改一改光照、相机高度，或者背景里的杂物，成功率就可能骤降。长时程任务，也就是那种有十个相互依赖步骤的任务，依然很难，因为早期的一点小误差会在后面滚成失败。而评测本身是一场无声的危机。真实世界的成功率测起来昂贵，多次试验之间噪声很大，实验室之间又难以复现，这让模型之间的诚实比较变得实打实地困难。

这些都不是悲观的理由，而是一张标明工作重心的地图。架构问题大致已定：预训练一个 VLM，接上一个动作解码器，把输出分块。悬而未决的是数据与可靠性，而两者都指回同一个地方。

下一次当一个机器人拿起"那种灭绝的动物"，别只盯着这个把戏。去问它被展示了什么、由谁展示、又记录得有多好。这个答案，比任何架构框图都更能告诉你，这台机器究竟能做什么。