夹爪 vs 灵巧手:两种遥操作数据的真正差别

平行夹爪和多指灵巧手产生的遥操作数据截然不同。各自能教会机器人什么,又各自贵在哪里?

阅读约 6 分钟

把两套遥操作装置并排放在一起。一套驱动的是平行夹爪:一个数字,开或合,加上托着它的手臂。另一套驱动的是一只有二十多个关节的五指手,操作员戴着一只手套,努力把人类的指节映射到机器人的指节上。让两者都去拿起一个马克杯,视频看起来很像。而它们产生的数据,却再不同不过。

夹爪还是灵巧手,实际上是在选择你动作空间的形状。这个形状决定了这些数据永远能教会机器人哪些技能,也决定了每一条示范的采集成本有多高。

我的论点是:这个领域两者都需要,而采集管线应当为更贵的那一种预留空间,因为日后重新采集人类的灵巧动作,才是那条昂贵的路。

维度的鸿沟

1 个自由度对上 20 多个自由度。动作空间随之爆炸。接着是对应关系问题:人手和机器人手并不共享运动学,因此把前者重定向(retarget)到后者是有损的,而且与每套装置强绑定。覆盖一个高自由度空间所需的数据,远多于覆盖一个低自由度空间,而且示范更难干净地记录下来。像 Hugging Face LeRobot 这样的开源遥操作框架,一部分存在意义正是为了降低采集这类高维数据的门槛。

这个诅咒不只是每一帧里数字更多。它在于:一个二十维关节空间里真正有用的区域,是一条又薄又弯的窄缝,而示范必须把这条窄缝描摹得足够密,策略才能学到它的形状。夹爪那一个维度,你用几条样本就能覆盖;灵巧手那二十个维度,你无论如何做不到。这正是为什么灵巧数据集始终又小又珍贵,而拾放数据集却能膨胀到数百万条轨迹。

夹爪数据擅长什么

绝大多数工业拾放。机床上下料。料箱分拣。夹爪可靠、遥操作起来便宜,而且容易在不同夹爪之间重定向。这是务实的、支撑营收的那 80% 任务。今天真正把机器人送进真实工作场所的公司,比如 Agility Robotics,很大程度上依赖夹爪和简单的末端执行器,因为它们把可靠性放在灵巧性之前。对一大类工作来说,开合真的就够了,采集更多只是浪费。

这背后还有一层经济逻辑。夹爪要坏的零件更少、要标定的信号更少,其控制问题也是一个团队真能调得动的。当目标是一台本季度就能在真实产线上挣钱的机器人时,这种简单性,比一门生意还卖不出去的灵巧性更值钱。夹爪在今天的部署中占主导,和它在数据集里占主导,是同一个原因。

灵巧手能捕捉、而夹爪捕捉不到的东西

手内操作。重新定向。工具使用。以及挥用一件为人手设计的工具时那种多点接触的灵巧性。打滑、滚动接触和手指交替换步(finger gaiting),都是夹爪根本无法表达的。正是在这里,像 RH20T 这样的灵巧数据集才有了自己的位置。1X Technologies 等公司正在为人形机器人研制灵巧手,而一只灵巧手的上限,取决于可用来训练它的、富接触的示范数据。

想想你自己的手打开一个防儿童瓶盖时做了什么。你按压、旋转,并在动作中途不断调整握法,每根手指都在做略微不同的事,而这一切都靠触觉即时纠正。这些东西,翻译成开与合之后,一点都留不下来。夹爪能握住瓶子,却无法完成那一整套动作。要教会这套动作的数据,必须来自一个自由度相当的东西,并且是在人类真正做这件事时记录下来的,而不是来自一个被简化过的替身。

重定向也是大量灵巧手数据悄悄消亡的地方。人手轻松完成的一个动作,在某只特定的机器人手上可能在运动学上根本无法实现,于是映射会把它裁掉、扭曲,或者直接丢弃。每只机器人手的关节布局都不一样,这意味着为其中一只重定向好的数据集,并不能简单地拿去给下一只复用。这在很大程度上解释了为什么灵巧手数据难以进行那种让夹爪数据集迅速壮大的跨本体汇集。

表 1:夹爪与多指灵巧手遥操作数据在决定性维度上的对比
维度平行夹爪多指灵巧手
自由度约 120 或更多
遥操作接口按钮或简单主手数据手套或外骨骼
每条示范成本
重定向难度高,强绑定
跨本体迁移容易困难
任务覆盖拾取与放置手内灵巧操作

接口决定了数据

你如何遥操作,塑造了你采集到什么。基于视觉的手部追踪便宜,但没有力反馈,信号也有噪声。数据手套或外骨骼能提供更好的关节精度和一些力的线索。直接的动觉示教最忠实,也最费力。延迟和力反馈共同决定了富接触的示范是否可用。没有力反馈,操作员会压得太重或太轻,数据就会忠实地记录下接口的盲区,而不是任务真正需要的接触力。

延迟的影响比人们以为的更大。人类操作员是通过遥操作链路来闭合自己的控制回路的,如果这条链路哪怕多出 100 毫秒,富接触的动作就会变得笨拙。操作员会过冲、再退回,而记录下来的轨迹会把这份迟疑当成技能的一部分带上。好的灵巧手数据,需要一条紧凑、低延迟、能回传力的链路,而这样的硬件既不便宜也不常见。在这上面省钱,你要付两次代价:一次是装置本身,另一次是那些噪声太大、根本没法拿来训练的示范。

夹爪的数据教机器人去抓住世界;灵巧手的数据教它与世界协商。后者更有价值,也贵得多。

这对数据层意味着什么

你真正该问的问题

夹爪还是灵巧手,归根到底取决于你要教什么。如果任务是把零件从 A 搬到 B,夹爪数据更便宜、更可靠,也足够了。如果任务需要在手里转动一件工具、拧开一个瓶盖,或者用一只手完成人类会用一只手完成的事,那就只有灵巧手的数据能教会它。真正的成本不在于你采集哪一种,而在于当你发现自己需要另一种时,重新采集要付出多少。为更难的那一种预留空间,通常才是更省钱的选择。

teleoperationdexterous-handgrippermanipulationdata-capture

来源