扩散策略解析:生成式机器人控制为何成为默认

设想一只夹爪,要去够放在杂乱台面正中的一只马克杯。两段示教教会了它这个动作:一段从杯子左侧绕过,另一段从右侧绕过。两条路径都对。现在训练一个网络用最小均方误差去模仿它们,看看它学到了什么,两条路径的平均值,一条笔直穿过它本应避开的杯子的直线。

这种失败有个名字,叫模式平均(mode averaging),多年来它悄悄限制着行为克隆在真实操作任务上的上限。真正管用的解法根本不来自机器人领域,而是来自图像生成。扩散模型,也就是文生图系统背后的那一类方法,恰好是表示机器人可以合理采取的动作集合的一种极好方式。从 2023 到 2026 年,它从一篇巧妙的论文变成了整个领域大部分工作的默认动作头:Toyota Research Institute 的 Large Behavior Models 建立在它之上,Physical Intelligence 在 π0 中用的是它的 flow matching 变体,NVIDIA 的 GR00T 基础模型也以同样的方式生成运动。

本文解释:为什么是生成式模型,而不是普通的回归器或分类器,成了多模态机器人动作的自然选择;一个扩散策略在底层如何运作;以及它对训练它的数据悄悄提出了什么要求。

普通回归无法解决的问题

标准的行为克隆把控制当成回归:给定当前的相机图像和机器人状态,预测下一个动作,再用均方误差损失把预测推向示教动作。这个损失里埋着一个隐含假设,它假定正确答案是单独一个点,而且在欧氏距离上离它越近就越好。

操作任务把这两个假设都打破了。人类示教具有丰富的多模态性:抓起一只马克杯、绕开杂物、重新摆正一个零件,都有许多种好办法,而它们在动作空间里彼此相距很远。把两条有效轨迹平均起来,往往得到一条无效轨迹。一个高斯动作头的策略,被迫只能报出一个动作,要么塌缩到均值上,要么在若干模式之间抖动。把动作空间离散化、再自回归地预测 token,也就是 RT-1 和 OpenVLA 的路线,绕开了平均问题,却在序列长度上付出代价,并且在精细的连续控制上力不从心。

生成式策略重新定义了这个问题。它问的不是「哪一个动作最好」,而是对「好动作的分布」建模,再从中采样。采到左侧路径或右侧路径,每一条都干净且自洽,永远不会得到两者那种灾难性的混合。

回归要策略说出那一个最好的动作。生成则要它描述所有好动作构成的空间。接触密集的操作,恰恰活在这两个问题之间的缝隙里。

扩散策略实际如何运作

扩散策略把去噪的配方整套借了过来。从一团纯高斯噪声出发,其形状是一小段未来动作序列。一个以近期观测为条件的神经网络,预测该如何把这团噪声朝一个合理的动作序列稍微推近一点。把这一推重复固定的步数,噪声就会收敛成一条连贯的轨迹。训练则是反过来的:取一段真实示教的动作块,在随机的噪声水平上加噪,教网络预测它需要去掉的那部分噪声。

两个设计选择承担了大部分关键作用。其一,策略预测的是一个动作块(action chunk),即接下来十来个时间步的序列,而不是单独一步。分块让目标分布更平滑,编码了短期意图,也削减了逐步克隆中不断累积的误差。其二,它采用滚动时域控制:预测一个动作块,只执行最前面的几个动作,再根据新的观测重新规划。策略既保持了反应能力,又能对局部一致的运动做出承诺。ALOHA 平台上最初的 ACT 工作让分块流行起来;扩散则补上了生成式的骨架,让这些动作块真正具备多模态性。

扩散、flow matching,以及对速度的竞逐

可见的前沿已大体从经典扩散转向了 flow matching,一种密切相关的生成配方,它学习一个从噪声直接指向数据的速度场,而不是一条漫长的随机去噪链。实务上,flow matching 只需少数几步积分就能产出一个不错的动作块,而不必走几十步去噪,这在模型必须跑在控制回路里时至关重要。Physical Intelligence 的 π0 把一个视觉语言骨干与一个 flow matching「动作专家」配在一起,输出高频的连续指令;NVIDIA 的 GR00T N1 在类似的模板上使用一个扩散 Transformer 动作模块。如今这一范式已成标准:用一个大型多模态模型负责感知与语义,用一个生成头负责精细、快速、多模态的运动。

它的代价,以及抵消代价的手段

生成并非免费。每采样一个动作块,都要在动作网络里做若干次前向传播,这正是朴素扩散策略控制回路跑得慢的原因,也是真实部署为何要重度依赖各种加速手段。团队会用 DDIM 类的采样器来削减步数,用蒸馏和 consistency 类目标把步数逼近到一两步,以及正因为需要的函数求值更少而选用 flow matching。滚动时域执行也有帮助:一个十来步的动作块把一轮采样摊到许多个控制周期上,于是策略可以以几赫兹的频率采样,却以高得多的频率驱动电机。下表勾勒出动作表示的全景,以及扩散在其中的位置。

为什么瓶颈转移到了数据

这里有个常被低估的部分。一个扩散策略的多模态程度,至多只能等于喂给它的示教的多模态程度。如果数据集里每个操作员都从同一侧绕过杯子,那么「好动作的分布」就只有一个模式,生成机器也就无从生成。这个方法的长处,忠实地建模人类行为的分布范围,直接转化为对数据的胃口,而这些数据必须真的包含那种范围:许多操作员、许多物体摆放、许多策略,并且被以足够的感知精度记录下来,好让手部与接触在做什么能被重建。

这正是过去两年的进展在多大程度上取决于数据集、并不亚于取决于架构的原因。Open X-Embodiment 汇集了数十种机器人和实验室的示教;DROID 在真实场景中追求规模与场景多样性;像 Ego4D 和 Ego-Exo4D 这样的第一人称人类视频语料,把同样的逻辑延伸到了第一人称的人类行为。Hugging Face 的 LeRobot 中的开放实现,随后让在这些数据上训练一个扩散策略变成以天计、而非以季度计的事。

这把我们带到了何处

扩散赢得机器人控制,不是因为它时髦。它赢,是因为它回答了对的问题,描述一个好动作的空间,而不是去猜其中一个,也因为接触密集的操作从里到外都是多模态的。如今尚未解决的问题都很朴素也很真实:把采样成本再压低,证明这类策略走出实验室所需的可靠性,以及最重要的,给它们喂上多样到值得用生成方式去建模的示教。架构已接近尘埃落定。数据,才是接下来几年这场争论的战场。