单臂与双臂数据之争

为什么双臂操作数据的代价远不止单臂的两倍,协调税从何而来,以及两只协调的手对采集提出了什么要求。

阅读约 5 分钟

试着用一只手叠一条浴巾。你办不到。一只手按住一角,另一只手把折痕抹平,而只要你抽走其中任何一只,任务就崩塌了。日常操作中有很大一部分都是这样:不是两只手做两倍的活,而是两只手合力做一件谁单独都完不成的事。

大多数机器人操作数据集都是单臂的。这是一个悄无声息却影响深远的遗漏。它不只是漏掉几个任务,而是漏掉了人类能力中一整个类别,而且恰恰漏在数据最难采集的地方。

人的直觉是把双臂采集当作单臂采集的翻倍。实际情况比这更糟,而理解为什么,正是一个能教会协调的数据集与一个只是看起来像的数据集之间的分野。

为什么双臂不止是两倍的难题

加上第二条手臂,动作空间就翻倍。一条七关节手臂变成十四个关节,外加两个夹爪。但维度是容易的部分。难的部分是耦合:两条手臂并不独立,策略必须建模它们如何在时间上和接触中相互约束。

想想单臂数据里永远不会包含的东西。两个末端执行器必须在同一瞬间到达同一位置。一只手握住物体,另一只手在其上作业。力通过一件共享的刚性或柔性物体在两臂之间传递。当你一次只记录一条手臂时,这些都不会出现,因此都无法从单臂日志中学到。Physical Intelligence 关于双臂策略的工作,反复围绕着这种协调结构,视其为核心难点。

这里的数学以一种容易被忽略的方式叠加放大。如果一个任务需要两只手处于某个特定的相对构型,策略必须覆盖的关节构型空间,更接近乘积而非求和。两条手臂张成的状态不是一条的两倍。而是大得多的东西,而覆盖,正是示范所购买的。

协调税

双手任务并非千篇一律。它们落入几种模式,而每一种对数据的要求都不同。

  • 对称型。两只手做镜像的工作,比如抬起一个大箱子。要求的是紧密的空间与时间对称。
  • 非对称型。一只手稳定,另一只手作业,比如握住罐子拧开盖子。那只起稳定作用的手很容易被记录不足,也很容易被低估。
  • 顺序交接。物体从一只手传到另一只手。交接的瞬间是一次共享接触,必须在两侧同时被捕捉。

只要两条手臂的流在时间上错开,上述每一种都会失败。两臂之间几十毫秒的错位,就能把一次干净的交接变成一次掉落。这就是为什么时间同步不再是锦上添花,而成了整场录制赖以成立的根基。

注意这几种模式作为数据有多不同。对称的抬举可以容忍宽松的时序。交接则不能;错过共享接触的窗口,物体就落地了。一个把它们混在一起、却不标注哪个是哪个的数据集,交给策略的是一个被平均过的、模糊的目标。

单臂的误差停留在局部;在双臂作业中,一只手的失误会在几分之一秒后变成另一只手的问题。
表 1:单臂与双臂数据在种类上的差异
维度单臂双臂
动作维度一条手臂加夹爪两臂、两爪、相互耦合
跨流时序不适用毫秒级关键
失败耦合局限于该臂一手之误波及另一手
可达任务拾取、放置、推、擦折叠、稳定并作业、交接
覆盖一个任务所需示范基线显著更多
开源语料中的可得性丰富稀缺

双臂采集究竟要求什么

要求是叠加放大的。你需要两条对齐到毫秒的手臂流,而不仅仅是两段同时开始的录制。你会希望每一侧都有一台手腕相机,因为在任何固定视角下,一只手都可能遮挡另一只。你需要捕捉两臂之间的接触,而不只是每条手臂与世界的接触。而且由于协调后的状态空间大得多,覆盖它所需的示范,要远多于名义难度相同的单臂任务。

公开语料反映了这有多难。像 Open X-Embodiment 这样的大型聚合、像 DROID dataset 这样的单臂采集,以及像 RH20T 这样的富接触数据集,都以单臂数据为主,因为单臂数据在规模上采集起来便宜得多。双臂示范相对而言依旧稀缺,这也使它们的价值格外高。

还有一项遥操作成本。用遥操作采集双臂数据,意味着一名操作员同时驾驭两条手臂,这比驾驭一条更难、更慢、更累。每名操作员的吞吐量下降,于是稀缺的数据同时也是昂贵的数据。这对供给形成双重挤压。

数据缺口,以及谁最有条件填补它

转折在这里。机器人领域最稀缺的数据,恰是人类最自然就能产生的数据。人默认就是双手并用的。我们每天成千上万次地稳定并作业、交接、协调双手,却毫不费心去想。单臂的遥操作装置无法表达其中任何一项;而一个人只是顺手就做了。

这使得自我视角人类示范在结构上非常契合双臂缺口,前提是采集真正保留了那份耦合:双手、同步,并在每一侧都记录了接触与视角。

这正是人形机器人对数据、而不只是对部署重要的那个安静的原因。一个双臂双手的平台,或一个穿戴采集装备的人,能产生单臂工作台根本无法表示的协调示范。载体塑造了它能够记录的数据。

所以单臂对双臂不是一根从易到难的滑杆。它是种类的改变。动作空间翻倍,但协调、接触和时序的要求在此之上还不止翻倍。忽视这一点的数据集,会不断造出能优雅拾放、却打不开一个罐子的机器人。而那些把双手作为单一耦合事件来采集的数据集,正朝着真正填满人类一天的那些任务前进。

bimanual-manipulationcoordinationdexteritydatateleoperation

来源