机器人的可供性学习：向人手取经

伸手去按压式门把手时，你的手还没碰到金属，就已经预先摆成了下压的形状。你没有运行任何物理求解器。你读懂了这个把手：它“提供”了按压这个动作，而你的运动系统在接触之前就已经决定这么做了。

这是人几乎每一次操作背后那项安静的本领。我们并不把物体当作需要分析的几何体来感知，而是把它们感知为一组动作可能性：马克杯提供“抓握手柄”和“从杯沿饮用”，抽屉提供“拉开”，开关提供“拨动”。机器人学从感知研究里借来一个词来称呼它：affordance（可供性）。

教机器人学会可供性，而不是原始的“像素到力矩”映射，是这个领域里更省数据的一个赌注。而最好的老师，是一只正在做事的人手。

门把手在你触碰之前告诉了你什么

一个可供性，是物体与它为某个主体所支持的某个动作之间的配对。同一个把手，对人手提供“按压”，对二指夹爪则以不同方式提供。这个“与主体相关”的部分很关键。对五根手指有效的抓法，对平行夹爪可能根本无法实现，所以从人手学到的可供性必须被重定向（retarget），而不是照搬。

回报是压缩。与其为每个物体都学一个单独的策略，一个能预测“我能在哪里、以何种方式动手”的机器人，会把杂乱的场景压缩成一小份候选动作清单。感知不再是一个标注问题，而变成了一个动作问题。

可供性作为一个压缩层

想想另一条路。端到端策略把像素直接映射到电机指令。它可以奏效，但必须从零开始、为每个物体重新发现“手柄是用来握的、杯沿是用来倒的”。为了这些人类幼儿早已掌握的常识而花掉如此海量的数据，代价惊人。

可供性居于中间。它是一种中层表征：比像素更抽象，比一个语言标签更具体。一个能为陌生物体输出接触点和接近方向的模型，可以把这些交给底层控制器，从而跳过从零重学控制。包括 Berkeley 的 Berkeley BAIR blog 在内的研究团队，一直在推动从视频中学习这类交互先验；而 NVIDIA GEAR Lab research 团队的物理先验工作，瞄准的是同一个目标。

可供性是“看见一个物体”与“知道如何对它动手”之间的压缩层，而人手是我们拥有的、对它最干净的标注。

可供性的监督信号从哪来

并非所有可供性数据都等价。来源决定了学到的可供性能迁移多好、代价多大。

最后一行是最有意思的。当一个人一天里拿起上百个不同物体时，他就示范了上百种功能性抓取，每一种都已在稳定性和任务两方面被解决。像 Ego4D 及其多视角后继者 Ego-Exo4D 这样的自我视角数据集，正是从机器人最终会采用的那个视角，大规模地捕捉了这一切：手与日常物体的交互。

人手就是可供性的标注

诀窍在于，一只触碰物体的人手，免费地标注了可供性。接触点就是手指落下的地方。接近方向就是手探进去的路径。任务语境就是这个人接下来做了什么。没有标注员画掩码；示范本身就是标签。

但有一个障碍，就是重定向缺口。二指机器人无法复现五指的力量抓握，所以学到的可供性必须映射到机器人自身的运动学上。接触区域比精确的手指位姿迁移得更好，接近方向迁移得不错，精细的手内操作迁移得最差。一条能记录“手在何处、以何种方式接触物体”而不仅是一段 RGB 视频的采集管线，才使那种映射成为可能。

可供性会随任务而变

一个隐蔽的失败模式，是把可供性当成物体固定不变的属性。它不是。同一把刀，切东西时提供“握刀刃”，把它安全递给别人时提供“握手柄”。同一把螺丝刀，拧小螺丝时提供精细捏握，拧卡死的螺丝时提供有力的握持。真正重要的那个动作可能性，取决于主体接下来想做什么，这意味着可供性数据必须携带任务语境，而不只是物体身份。

这正是被动物体检测不够用的原因。知道有一个杯子在场，并不能告诉机器人该拿它来喝、来洗，还是把它挪开，而这几种意图各自想要不同的接触。人类示范隐式地携带了这种意图：一个人抓取物体的方式，本身就编码了他接下来打算用它做什么。抽掉任务，你就抽掉了一半的信号。

动态可供性也抬高了采集的门槛。单帧画面看不出抽屉是滑出而非旋开，也看不出瓶盖是拧开而非弹开。你需要交互前后那一小段运动窗口，而这恰恰是连续自我视角采集所保留、静态图像所丢弃的。

门把手从不给你递规格书。它只是一眼之间就告诉你它是干什么用的，而你的手对此深信不疑。让机器人达到同样的一眼，与其说靠更大的模型，不如说靠正确的数据：人手、真实接触，采集方式要让“动作可能性”在跨越到机器人身体时得以保留。做到这一点，陌生物体就不再是新问题，而变成机器人早已见过千百次的一组可供性。