从示范中做抓取合成,而非依赖求解器
从人手学习 grasp synthesis 抓取合成,能捕捉解析式力封闭规划器错失的功能性、任务感知抓取,并可扩展到灵巧手。
几十年来,抓取都是一个物理问题。在物体上找到一组接触点,使它们施加的力可以抵抗任意外部力旋量,宣布达成力封闭(force closure),再把手指挥到那里。它优雅、可证明,而且确实管用,直到物体变成一个揉皱的袋子、一只红酒杯,或任何规划器没有干净模型的东西。
解析方法失败,不是因为数学错了,而是因为它假设了现实世界不肯给出的知识:精确几何、已知摩擦、静止的物体。把这些抽走,力封闭就无处立足。
而正在胜出的那条替代路线,比任何规划器都更古老:看人手怎么做,然后从示范中学到抓取。
抓取曾经是个物理问题
经典的抓取合成把手和物体都当作刚体,去搜索满足稳定性条件的接触点。这一脉络里的工具,从 GraspIt 式规划器到大型仿真抓取数据集,能为已知网格生成数百万个候选抓取。对一整箱一模一样的机加工零件来说,这至今仍难以被超越。
麻烦始于多样性,以及“并非点接触”的接触。解析规划器对“哪个抓取适合这个任务”没有意见,只对“哪些抓取稳定”有意见。只要刀刃能提供力封闭,它就会心安理得地去抓刀刃。稳定,不等于有用。
解析规划器错在哪里
最要紧的是两道缺口。第一是任务无关性。如果下一步是倾倒,那么马克杯上一个稳定的抓取,未必是你想要的抓取;你需要一个让手柄空出来、又能控制杯沿的握法。决定正确抓取的是功能,而不仅是稳定性,而纯物理规划器看不见功能。
第二是几何假设。力封闭想要已知的形状和已知的摩擦。可形变物、透明物体和杂乱的堆叠把这些全都违反了。这正是解析方法撞上长尾并停下的地方,也正是那些“在真实人手如何应对上训练出来”的学习方法继续前进的地方。
物理规划器找到的是一个不会打滑的抓取,人类示范展示的是一个能把活干成的抓取。两者往往不是同一个抓取。
生成抓取的三种方式
| 策略 | 应对陌生物体 | 任务感知 | 数据或模型成本 |
|---|---|---|---|
| 解析力封闭 | 仅在有已知模型时 | 无 | 需要几何与摩擦 |
| 仿真或自监督 | 中等,有 sim-to-real 差距 | 很少 | 数百万仿真抓取,再做迁移 |
| 人类示范 | 好,继承人类先验 | 有 | 人力工时,外加手部与接触采集 |
仿真路线以大型自监督抓取数据集为代表,扩展廉价、覆盖形状众多,但它继承了仿真器的盲点,且很少知道一个抓取是为了什么。人类示范单样本成本更高,却带来了其它路线所缺的东西:一个关于“有能力的主体究竟会选择哪个抓取”的先验。
为什么人手是正确的先验
一个人抓取物体时,会同时解决好几个问题,而且大多不假思索。他在手还在空中时就预先塑形,让手指抵达时已经大致就位。他挑一个适合下一步动作的握法。他根据物体调节力度:对玻璃杯轻柔,对扳手用力。这里每一个,对解析规划器都是一个难解的子问题,而每一个,都在人做这件事时被免费地示范了出来。
灵巧的多指手,是这一点最重要的地方。五指手上可能的手指落位空间极其庞大,靠解析去搜索非常残酷。一次人类示范把这个搜索坍缩了:它直接递给你一个良好、功能性的配置去模仿和调整。Physical Intelligence blog 上分享的工作,以及像 NVIDIA Isaac GR00T 这样的系统,都把这些源自人类的抓取当作一个起始分布,而不是从第一性原理去求解抓取几何。
重定向缺口
人类抓取无法原封不动地落到机器人手上。人手有着不同的比例、更多的自由度,以及比多数机器人手更柔软的接触,所以一次采集到的抓取必须被重定向到机器人的运动学上。有些东西迁移得好:接近方向、抓物体哪个部位的选择、粗略的手型。有些迁移得差:精确的指尖力,以及精细的手内重新定向。
这正是“原始采集比一段漂亮视频更重要”的原因。要重定向一个抓取,你需要手的位姿和接触,而不只是一张“手靠近物体”的图像。像 RH20T 这样记录富接触操作的数据集,以及像 Ego-Exo4D 这样的多视角第一人称集合,之所以存在,正是因为一段扁平的 RGB 视频丢掉了重定向所依赖的信号。
抓取只是开局第一步
抓取不是一个静止的姿态,而是一次操作的第一步。人类抓取之所以迁移得好,部分原因在于它是着眼于整个动作来选择的,于是看似单一的握法,实则是一次关于接下来几秒的下注。示范捕捉到了这个下注,而逐帧求解的解析规划器捕捉不到。
这也重新定义了数据里“成功抓取”的含义。一个握得很牢、却挡住了下一步的抓取,一旦把视野拉远就是失败。用“下游任务是否成功”来标注抓取,而不只是用“物体是否离开桌面”,是一处很小的标注改动,却能显著提升策略从每次示范中学到的东西。
力封闭的物理并没有错,它会继续在刚性、已知的零件上占有一席之地。但通用抓取,面对真实物体那杂乱的多样性、并朝着真正灵巧的手前进,不会来自一个更好的求解器。它会来自“观察有能力的手,学到它们早已知道的东西”。规划器问的是一个抓取会不会握住,人展示的是该挑哪个抓取。要让机器人像我们一样抓取,它们需要从示范中学习,而不只是从数学里。