跨具身学习到底意味着什么：一个策略，多种机器人

2023 年，一群实验室把来自二十多家机构的机器人日志汇集成一个数据集，并在全部数据上训练出一张网络，名为 RT-1-X。随后他们把这张网络放到一台台具体的机器人上，与每家实验室早已用自家数据手工打造的策略作比较。在其中好几台机器人上，这个汇集训练出的模型赢了，据 Open X-Embodiment 项目的说法，在五家实验室上平均领先约 50%。请再读一遍：加入其他机器人的数据，哪怕它们来自不同的硬件、不同的楼宇，反而让一台机器人把自己的活干得更好。

用一句话说，这就是跨具身学习（cross-embodiment learning）：在许多不同机器人身体的示范数据上训练一个策略，让技能在它们之间迁移，并让汇集数据同时惠及所有人。任何见证过语言建模"一口吞下一整个杂乱语料、而非为每个任务手工搭系统"的人，都能明白它的吸引力。麻烦在于：一句话在哪儿都是一句话，可一个身体并不等于另一个身体。两台机器人可以共享同一个任务，却在"长成什么样"这件事上几乎毫无共同之处。

本文以 Open X-Embodiment（简称 OXE）为范例：它是什么、异构的身体为什么让问题真正变难、让一个策略与众多身体对话的那几种技巧，以及不该被粉饰的局限。一句话概括我的看法：今天跨具身学习的成功是真实的，但很窄。其中大部分是单臂机械手向另一批单臂机械手的迁移。真正尚未被摘取的果实，是在形态截然不同的身体之间迁移，而这类数据最丰沛的来源，根本不是机器人。

那堆胜过专才的数据

OXE 不是一个模型，而是一堆数据。团队收集了 20 多个研究组的约 60 个既有机器人数据集，统一成同一种格式，最终得到超过一百万条真实机器人轨迹，覆盖 22 种不同的机器人类型，从单臂到双臂装置再到一台四足机器人，这些都出自项目自己的说明。在这堆数据之上，他们训练了两个模型：紧凑的策略 RT-1-X，以及体量大得多的视觉-语言-动作模型 RT-2-X。

最醒目的结果是正向迁移。RT-1-X 在分布内任务上以约 50% 的幅度胜过为每台机器人量身打造的基线。更大的 RT-2-X 走得更远，展现出其训练用机器人从未演示过的技能，并在一项涌现技能评测上取得团队所报告的约三倍提升。值得记住的一个细节是：更大的模型迁移得更好。跨具身不只是一个数据把戏，它要靠规模来消化这份杂乱。

为什么两台机器人插不进同一个插座

把两台机械手摆到一起，麻烦立刻显现。一台把动作报告为关节速度，另一台报告为末端执行器（end-effector）的位置增量，第三台报告为绝对位姿。一台有 6 个自由度，下一台有 7 个。一台以平行夹爪收尾，于是"合上手"只是一个标量；下一台戴着多指手，同样的意图却是一个 16 维的向量。相机装在不同位置、分辨率不同、控制频率也不同。一张神经网络的输入和输出宽度是固定的，它每次都把动作向量的第 3 位读作同一个量。换上另一个身体，这些数字就悄悄变了含义。

这正是跨具身比视觉或语言中的迁移学习更难的原因，后者的接口是统一的。没有哪个 token 对每台机器人都表示同一件事。大部分工程工作，就是在寻找这样一个 token。

语言给了模型一个统一的通用接口，也就是 token。机器人学没有对应之物。每个身体都是一个不同的插座，而跨具身学习在很大程度上，就是在找一个能适配所有身体的转接头。

让身体们说同一种语言的四种办法

这个领域已经收敛到一小套对齐策略，多数真实系统会把它们混着用。最粗糙的是共享动作坐标系：OXE 把每台机器人都映射进一个归一化的末端执行器空间，这既便宜又管用，恰恰因为它的身体大多是相似的机械臂。第二条路是具身条件化（embodiment conditioning），用一个 token 或一小段文本标签点明是哪台机器人，让模型能针对每个身体给出专门化的输出。第三种在共享主干周围搭建针对身体的接口段（stem）与输出头：NVIDIA 的 Isaac GR00T 就把逐具身的编码器和动作解码器接到一个共同骨干上，于是一台新机器人是以一个新接口段的形式加入，而不必整体重训。第四种干脆把观测和动作都 token 化，让一个 transformer 端到端地学出映射，这正是 Physical Intelligence 在其 π0 模型上走的路，它以流匹配（flow matching）动作解码器，在一支由不同机器人组成的机队上训练。

迁移在哪里有帮助，又在哪里悄悄添乱

正向迁移并不是一条定律。把动作分布互相冲突的数据集汇到一起，小模型会把它们平均成一团糨糊，文献称之为负向迁移。OXE 那个干净的结果，一部分要归功于它的身体大多是单臂机械手，是一小步跨越而非一次腾跃；一部分要归功于规模，因为更大的 RT-2-X 能扛住那些足以把小网络扯散的异构性。它对配比也很敏感：一堆里 90% 都是同一台机器人的数据，无论你怎么给损失加权，都会把其余 21 种淹没。

这种集中是实打实的。DROID 作为最常用的操作数据集之一，大约是 76,000 条在单台 Franka 机械臂上、跨数百个场景采集的遥操作轨迹。这是对一个身体极好的覆盖，对任何其他身体则是零覆盖。所以"一个策略，多种机器人"在今天成立，但成立在一个有边界的意义上，即在彼此相像的机械臂之间。要同时在一台人形机器人、一台四足机器人和一台桌面机械臂之间迁移，在很大程度上仍是悬而未决的问题。

人的身体也是一种具身

把跨具身推到它的逻辑边缘，最丰富的示范来源就不再是机器人，而是人。第一人称的人类视频，相比遥操作既海量又便宜：光是 Ego4D 就收录了约 3,670 小时未经脚本的日常活动，而 Ego-Exo4D 为需要技巧的任务配上第一人称与第三人称的成对视角，让策略能同时看到手和场景。RH20T 更进一步，把同一批技能的人类示范与机器人示范并排记录。把人手当作又一种具身，你就继承了任何机器人机队都记录不来的、多出好几个数量级的多样行为。

你也同时继承了所有对齐里最难的那一种。五指的手、人类的运动学，以及除非你刻意采集、否则根本没有记录的本体感觉，使得把人的动作重定向到夹爪上成为插座问题的极端情形。单靠 RGB 不够；你需要力、接触和深度，才能重建手实际做了什么。也正是在这里，跨具身的难与数据采集的难，变成了同一个难题。

跨具身学习并不是宣称"一个大脑能开任何身体"。它是一个更窄、也更有用的观察：身体之间的共同点比看上去多，而一张容量足够、转接头也足够巧妙的网络，能够利用这份重叠。OXE 证明了在相似的机械臂之间，这份重叠值真金白银。前沿在于这个转接头能拉伸多远，而答案与其说写在架构图里，不如说写在"谁的示范、谁的身体最终进了那堆数据"里。