世界模型为何加入人形机器人竞赛

2024 年，Google DeepMind 用数万小时的互联网视频训练了一个叫 Genie 的模型，视频内容是人们玩 2D 平台跳跃游戏。没有人给任何一帧标注过跳跃键的作用。可训练好的模型只要给它一张静态图片就能玩：按左，角色向左走，画面滚动，重力再把它拉下来。底层没有任何游戏引擎，只有一张学会了像素如何随操控者动作演变的网络。

这个把戏有一个严肃的名字，也有一个严肃的用途。世界模型是一种学习得到的预测器，用来预测场景将如何演变，并且可以以某个动作为条件。人形机器人领域极度渴望它，原因很直白：真实的机器人示范又慢又贵，而视频既不慢也不贵。Open X-Embodiment 汇集了约一百万条真实机器人轨迹，横跨 22 种不同机器，可这个量级在互联网上早已存在的数十亿小时人类活动面前，仍不过是舍入误差。如果能在机器人不进入采集环路的前提下，从视频里学到带有物理形状的先验，你就绕过了瓶颈。

这就是它的诱惑，也解释了世界模型为何在大约一年半里，从研究趣闻变成几乎每一份人形机器人路线图上的一行预算。但代价更为隐蔽。一个能预测下一帧长什么样的模型，并不等于一个知道让那一帧发生会是什么手感的模型。被动视频恰恰略去了控制器赖以运行的那些信号。本文要讲的是这次转向为何发生，以及从视频学习会在哪里走到尽头。

世界模型到底是什么

这个词至少涵盖三种不同的机器，把它们混为一谈，正是大多数困惑的来源。

第一种是学习得到的模拟器。在 Dreamer 一脉的基于模型的强化学习里，智能体训练出一个紧凑的环境模型，然后在想象中把它推演展开来做规划，比触碰真实世界更便宜、更快。第二种是表征预训练：预测未来的帧或未来的嵌入，走联合嵌入预测架构（JEPA）的路子，把由此得到的特征留作控制用的视觉骨干。第三种是以动作为条件的视频预测器，一个神经模拟器，在给定候选动作时生成看似合理的接下来几秒，再用这些未来去给规划打分，或合成训练数据。NVIDIA 的 Cosmos 世界基础模型，接入了 GEAR Lab 的 GR00T 技术栈，正落在第三类。

最要紧的区分是被动与以动作为条件。被动模型回答的是接下来会发生什么，以动作为条件的模型回答的是如果我做出某个具体动作、接下来会发生什么。只有第二种能直接用于控制，而第二种要难训得多，因为互联网上满是第一类视频，第二类几乎没有。

人形机器人实验室为何转向视频

顺着经济账看。一条遥操作机器人轨迹要花掉一名操作员、一台机器和真实流逝的时间，人类视频只要一次下载。这中间差着好几个数量级，而且只指向一个方向。

于是动作来得很快。NVIDIA 把 Cosmos 作为公开可用的世界模型平台发布，正对着这个预训练问题。1X Technologies 办了一场公开的世界模型挑战赛，要求研究者根据过去的帧预测其家用机器人的未来帧。Toyota Research Institute 为其大型行为模型倚重广泛的预训练，Google DeepMind 则把一个用视频训练出的先验，叠进了 Gemini Robotics 的推理里。Meta 的 V-JEPA 推进表征一路，在嵌入空间而非像素上做预测。押注各异，共识只有一个：让视频提供关于物体如何运动、人如何操持它们的先验，再把稀缺的机器人数据只花在把这份先验对齐到某一具身上。

视频教会了什么，又悄悄略去了什么

被动视频确实丰富。它承载着外观动态、物体与场景的运动，以及海量分布的人类可供性：人们实际上如何握住马克杯、如何稳住一个箱子、如何用副手按住砧板。这些恰是操控策略靠自己很难采到的先验。

视频不承载的，是控制的另一半。它没有记录产生运动的指令，没有指尖的接触力，没有本体感觉，没有触觉信号，往往也没有可靠的 3D。更糟的是，视频模型被训练成看起来对，而不是真的对。它优化的是视觉上的可信度，于是会毫不犹豫地渲染出一只无摩擦滑动的马克杯，或一根穿过把手的手指，因为这些帧完全可信。物理正确并不在它的损失函数里。

动作标签才是最贵的部分

真正的差距不在分辨率或小时数，而在动作。被动视频是观测数据：它展示发生了什么。控制需要的是干预数据：如果我推这里而不是那里会怎样。这个差别就是相关与因果之间那堵老墙，再多的 YouTube 也补不上，因为那个反事实从来没被记录过。

能补上它的数据集之所以小，正是这个原因。Open X-Embodiment、DROID 和 RH20T 之所以珍贵，是因为有人坐在环路里，把动作与像素一并记了下来。Ego-Exo4D 更进一步，把第一人称视角与同步的第三人称相机配对，并配上密集的步骤与动作标注，于是同一个动作既能从操作者的眼睛看清，也能从外部看清。这些数据集的每一份都需要刻意采集，这正是它们只有数千小时、而非数十亿小时的原因。

还有第二重、更微妙的代价。把一个学习得到的模型沿长时程往前推演，每一步的微小预测误差会累积。没有落地的反馈来纠正漂移，一段想象中的推演头一秒看着没问题，到第十秒就成了胡话。先验能启动一个策略，却无法凭一己之力让它一直诚实。

用视频训练的世界模型学到的是下一帧长什么样。控制需要知道的，是让下一帧发生会是什么手感，而这个信号从来不在像素里。

两半如何拼在一起

把它说成视频对机器人数据，本身就是个假选择。最强的那些系统通行的做法是一套堆叠：先在视频与学习到的表征上做宽泛的预训练，得到先验，再在以动作为条件、接触密集的示范上做窄域微调，走完最后一公里。Toyota 的大型行为模型、Physical Intelligence 的 pi-zero，以及 Gemini Robotics，跑的都是这套两阶段配方的某个版本。视频那一半每个季度都在变便宜，稀缺而决定性的，是另一半：以动作为条件、带力标注的第一人称示范，它告诉模型的不只是世界做了什么，还有一具身体对它做了什么。

世界模型是对一种真实稀缺的正确回应，它们预测像素也会越来越好。但真正能出货的人形机器人，会是那台世界模型曾被知道动作是什么的数据纠正过的机器。视频让机器人看见世界，可总得有东西让它看清看与做之间的差别。