用互联网视频教机器人：诱惑与极限

每一分钟，互联网都会新增成千上万小时的视频，而这还只是对其中一小片的估计。此刻，视频堆里的某个角落，有人正拍下自己切洋葱、换轮胎、叠床单，或是拿一块抹布拧开一个卡死的罐盖。数十亿小时的视频早已躺在那里：一份关于人手的连续记录，几乎涵盖了家用机器人将来会被要求做的每一件事。对任何想训练机器人的人来说，这看上去就是头奖，是操作任务从来不曾拥有过的、文本级别的语料库。

对这份语料的向往，本质上是一个与语言的类比。大语言模型之所以变强，是因为人类早已把互联网写好了，而每一个网页，都是某人出于完全别的目的生产出来的免费训练样本。机器人操作从一出生就没有这份遗产：没人会在做饭时给自己的厨房装满仪器。网络视频看上去是任何人所能找到的最接近的替代品。于是逻辑变成：在这一整团翻涌的素材上做预训练，一个策略就仿佛看过了一辈子人类如何摆弄物理世界，然后带着这份底子走进门来。

它一半有效，而这一半很关键。网络视频是机器人领域最丰富的先验之一，如今每一个认真的人形机器人团队都倚重它。但头奖的正中间横着一堵墙，而它不是一堵关于数量的墙。一段手在做任务的视频，恰恰缺了机器人最需要模仿的那一样：手到底做了什么。本文要讲的，是互联网免费给了机器人什么，以及无论怎么抓取都永远装不进去的那味成分。

免费的午餐是真的

先说好消息，因为它分量很足。一个在互联网视频上预训练过的模型，学到的东西是别的途径很难得到的。

视觉与物体先验。看过足够多的画面之后，网络就知道抽屉、瓶盖、拉链、打蛋器长什么样，从各个角度、在各种光线下都认得。在机器人见到这些物体之前，它心里已经有了一幅关于它们的图。

语义与活动先验。互联网把「倒」「叠」「擦」这些动作给模型看过成千上万遍，连同这些步骤的先后次序，以及一件任务做完时是什么样子。这是一张人类活动的地图，靠实验室里几百条示范是画不出来的。

粗粒度的动力学。水会往下落，掉下的球会弹，软袋子会瘫软，硬盒子不会。在海量尺度上被看过之后，这些规律就变成了一种带物理形状的先验，而这正是如今该领域核心的世界模型赖以搭建的原料。NVIDIA 的 GEAR Lab 就依靠人类和互联网视频、外加合成轨迹，在其 Isaac GR00T 体系里给人形机器人技能打底，正是为了在花掉任何一条机器人示范之前，先把这些先验存进银行。

人类可供性。人们实际上如何握住马克杯的把手、如何把箱子抵在胯上、如何用副手稳住砧板。这些习惯在网络视频里密密麻麻，在别处却稀稀落落。

那堵墙：互联网展示的是结果，不是动作

再说欠缺，而它是结构性的，不是多给点小时数就能补上的。网络视频是观测性的。它记录了场景看上去是什么样，却从不记录人命令自己的身体去做了什么。有四样东西缺席，而机器人四样都需要。

动作标签没了。控制器靠向一个目标回归来学习：给定这个观测，输出那个动作。网络视频把观测递给你，却把目标扣下。关节轨迹、手指的合拢、与控制回路绑定的时序，一样都没被记下，因为相机对着的是结果，而没有接在执行者身上。

力与本体感觉没了。那让玻璃杯没滑掉的 3 牛顿握力、灌满水的水壶的重量、接触开始的那一刻、指尖传回的触觉，对一枚镜头来说全都不可见。你无法从像素里推断出像素从未编码进去的量。

手本身也只是一个猜测。你可以从视频里估计手的位姿，但那是估计：有噪声、尺度不定，而且恰恰在最要紧的地方被遮住，也就是手指裹住物体的最后几厘米。

然后是互联网特有的、区别于刻意采集的人类视频的那个问题。视角是错的，而且不稳定。大多数网络素材是第三人称，由旁人或三脚架拍下，再经过剪辑、切镜、变焦和调色，相机的位置和内参你都拿不到，还会因为与任务毫不相干的原因在镜头之间跳来跳去。而机器人是通过装在自己头部和手腕上的相机来感知世界的。互联网几乎从不展示那个视角。于是就连像素也来自错误的位置，按一位剪辑师、而非按那件活儿定下的节奏在动。

互联网记录的是一件任务从房间对面看上去是什么样。机器人要重现的，是双手在这件活儿内部做了什么。这两者不是同一段素材，而它们之间的鸿沟，就是全部的问题所在。

语料给了什么，又扣下了什么

把这三列读成一句话：互联网白送左边一列，永远给不出中间一列，而右边一列，是必须有人刻意去付的那张账单。

所有人都收拢到的那套打法

面对这道裂缝，整个领域以惊人的速度落定到一套配方上：先宽泛预训练，再窄域对齐。先把网络视频这片海洋吸收进来，取得视觉、语义与动力学先验，再在一小批精确采集的示范上微调，让它带上视频给不了的动作、力和视角。网络这一半几乎免费，而且每个季度都在变便宜。对齐那一半稀缺、昂贵，且起决定作用。

最强的那些系统跑的都是它的某个版本。GR00T 先在人类视频与合成运动上打底，再用真实机器人数据落地。Physical Intelligence 在一个宽泛的基座上训练跨具身策略，再用有针对性的示范把它对齐到具体硬件。Google DeepMind 把一个用视频训练出的先验叠进 Gemini Robotics，再为控制做微调。网络语料对它们都是同一种大路货；真正拉开差距的，是各自能拿出的那一小批对齐数据的质量。

为什么那一小批才决定一切

这里有反直觉的一点。稀缺的、真正承重的那味成分，不是网络视频。那东西海量、廉价，任何有网络连接的人都共享。稀缺的是对齐用的示范：多模态、第一人称、带动作标签、带力标注、按协议记录下来。这类数据抓取不到，也不会从互联网里自己掉出来，因为几乎没有人是戴着那套装备去做那件事的。

而且拉高天花板的，是对齐这一批，不是网络预训练。再多一万小时环境视频，只把先验往前推一点点。一批更干净、更丰富、真正采到了力和第一人称视角的对齐数据，却能把策略往前推一大截。刻意采集的语料库正因如此而存在，也正因如此而规模不大：Ego4D 汇集了数千小时的第一人称人类活动，佩戴仪器、刻意记录，而即便如此，它主要也是为感知、而非为驱动一只夹爪而建。控制器真正想要的那份记录，比它还要稀罕。

互联网仍将是机器人有过的最便宜的老师，它也会越来越擅长告诉一台机器：世界看上去是什么样，又倾向于如何运动。可它永远做不到的，是告诉机器人它自己的双手本该做什么，因为那从来就不在画面里。那段素材必须被制造出来，刻意地，一个采集到的任务接着一个。头奖从一开始就只是半个头奖，而值钱的那一半，是仍在等着被记录下来的那一半。