什么是第一人称数据，机器人为何靠它学习
头戴与腕部相机的第一人称采集，为什么比墙上的第三人称相机更适合教机器人操作，以及它真正的代价在哪里。
看一个人打鸡蛋。你从来不是从厨房另一头看到这个动作的。你是从上方、顺着鼻梁往下看，双手从画面下方抬进来，蛋壳在离眼睛几厘米的地方裂开。这个视角并非无关紧要，它正是你的运动系统学习时所处的视角。
再想想大多数机器人被训练时所用的相机：架在对面墙上的三脚架，把整个场景尽收眼底，动作者的手只有指甲盖大小，还有一半时间被自己的身体挡住。用这种画面训练出来的模型，在测试时被要求做一件很别扭的事：从一个它永远不会占据的角度，去控制一只它几乎看不清的手。
第一人称（egocentric）数据修正了这种错配。它是从动作者自身视角进行的采集，通常是一台头戴相机，往往还有一台装在手腕上的相机，在一个人真正执行任务时记录下来。这正是机器人越来越多地用来学习操作的数据，而背后的理由，比第一人称更自然要具体得多。
第一人称到底指什么
第一人称意味着传感器随身体移动。画面锚定在头部或手上，而不是锚定在房间里。人转向抽屉，相机就跟着转；人伸手，目标物在画面里变大的方式，恰好和带腕部相机的机器人伸手时一样。它的反面是第三人称（allocentric）：一台固定相机，从外部观察行动者。
这个区分在认知科学里由来已久，在机器人学习里却很新。Ego4D 采集了数千小时头戴视角的日常人类活动，其后续 Ego-Exo4D 则同时从两种视角记录同一个动作，让模型能够学到「通过自己的眼睛看到的」与「旁观者看到的」之间的对应关系。对操作任务而言，第一人称这一路信号，才是承载有用细节的那一路。
为什么第一人称胜过墙上的相机
四个理由，大致按重要性排列。
策略是在第一人称视角上运行的。部署后的机器人，是通过装在头部和手腕上的相机来感知世界的，那就是它的策略在推理时会遇到的图像分布。用墙上的相机训练，你优化的是一个机器人根本用不上的视角，然后只能寄希望于技能迁移过去，而它常常迁移不过去。
手始终在画面里。操作的成败取决于最后那几厘米：接近、抓握、接触。头戴或腕部相机让这块区域又大又居中，而墙上的相机在几米之外观察它，还经常被动作者自己的手臂遮挡。
分辨率落在关键处。墙上的相机花在天花板上的每一个像素，都是没有花在指尖上的像素。第一人称采集把细节集中在交互发生的地方，而那正是操作模型最需要信号的地方。
视线是一路免费的监督信号。人在触碰之前的一瞬间，会先看向自己要碰的东西。头戴相机不费吹灰之力就记录下了这份注意力，它是关于「动作会发生在哪里」的强先验。
操作策略最终跑在装于机器人之上的相机上，而不是跑在对面房间的三脚架上。用一个它永远不会拥有的视角去训练它，你就是在为错误的世界做优化。
人们容易忘记的一点：它是多模态的
光有视频，教不会机器人抓握。杯子是有重量的。盖子会一直抵着，直到某一刻松开。这些都看不见。高价值的第一人称采集，会在图像之上叠加若干条同步的通道，模型学习的是这整叠信号，而不只是那张画面。
| 通道 | 记录了什么 | 策略为何需要它 |
|---|---|---|
| RGB 视频 | 第一人称与腕部视角 | 场景、物体身份、接近的几何关系 |
| 深度 | 逐像素的距离 | 伸手距离、抓握预成形、碰撞余量 |
| 手与手指姿态 | 人手各关节的角度 | 机器人夹爪或灵巧手的重定向目标 |
| 力与力矩 | 指尖处的接触力 | 该用多大力、接触何时开始、打滑检测 |
| 本体感觉 | 手腕与手臂随时间的轨迹 | 策略真正要回归的动作标签 |
| 音频 | 接触时的咔哒、啪、刮擦声 | 视觉会漏掉的事件标记，例如卡扣到位 |
力和手部姿态，是第三人称视频事后永远无法还原的两条通道。你可以从像素里粗略估计手的姿态，却估不出那让玻璃杯没有滑落的 3 牛顿握力。要么你在手执行任务的当下就测到了它，要么这个数字就永远消失了。
代价：这类数据不会自己躺在那里
文本能够扩展，是因为人类早已把互联网写好了。每一个网页，都是某人出于别的目的生产出来的训练样本。第一人称操作数据却没有这样的「废气」。并不存在一座等着被抓取的巨大水库，里面装满同步的头戴相机、力和手部姿态记录，因为几乎没有人是戴着那套装备去做饭的。
Ego4D 和 Ego-Exo4D 是里程碑式的工作，但它们都是被刻意采集出来的：数百人、佩戴仪器、按协议记录、事后标注。即便如此，它们主要也是为感知和活动理解而建，并非为了驱动一只夹爪，因此大多缺少控制策略想要的力和本体感觉。机器人社区一直在用笨办法自行积累供给。DROID 汇集了跨多个实验室的遥操作操作数据；Open X-Embodiment 把来自数十种机器人和机构的数据汇入同一个语料库。两者都令人钦佩，都需要英雄般的协调，而放在一个文本模型的胃口面前，两者都还很小。
这个领域实际上怎么用它
当下的通行做法是：先在廉价而海量的人类视频上做预训练，获得视觉与语义先验，再用一批精确采集的演示，把模型对齐到某一台具体的机器人上。NVIDIA 的 Isaac GR00T 体系，就依靠人类视频和合成轨迹来给人形机器人技能打底。Physical Intelligence 这样的团队，则训练能吞下异构演示、并在不同硬件间泛化的跨本体策略。贯穿其中的主线是一样的：人类演示是种子，而这颗种子越贴近机器人自身的视角和传感器配置，之后需要弥补的差距就越小。
所以，第一人称并不是对第一人称视频的风格偏好。它是一种认识：操作模型应当从它将要行动的那个世界里学习，那个近距离的视角、画面里的双手、指尖处的力、抓取之前的那一瞥。对面墙上的画面，从一开始就是错误的老师。现在有意思的问题，已经不是要不要从身体视角采集，而是必须有人真的去做这件事，一个任务接一个任务，刻意地做。