欧洲的第一人称数据:采集已是一项规格

机器人学习为何统一到第一人称(egocentric)视角,以及在欧洲采集这类数据,如何把知情同意、溯源与 GDPR 变成买家开始索要的数据集规格。

阅读约 7 分钟

今天,给为机器人学习团队做示范的人戴上相机,那套装置几乎到处都长一个样:一台相机架在眼睛附近,另一台装在手腕上。这种心照不宣的共识只有短短几年,而它当初并非显而易见。很长一段时间里,默认做法是把三脚架架在房间对面,像监控探头那样把整个场景收进画面。

这个领域的转向有着具体的理由。装在头部和手腕上的相机,看到的东西大致就是机器人通过自己的头部和手腕传感器所看到的,于是训练图像与策略在推理时遇到的图像相吻合。双手和接触点始终又大又居中,而不是缩成指甲盖大小、藏在人自己的身后。再者,普通的人类视频可以低成本地大规模采集,这正是 Ego4DEgo-Exo4D 这类工作得以存在的原因。NVIDIA 的人形机器人研究,正是依靠这种人类视频与第一人称视频的混合,来为操作技能打底。

而视角这套说法漏掉了一点。一段第一人称记录,从构成上看就是一段关于人的记录:他的厨房、映在窗户上的脸、他的声音、他的双手。这让它成为个人数据。而一旦成为个人数据,你在何处、以何种方式采集它,就不再是脚注,而变成规格里的一行。

整个领域达成一致的那个视角

操作的成败取决于最后那几厘米:接近、抓握、接触的瞬间。头戴或腕部相机让这块区域留在画面里、保持清晰。墙上的相机在几米之外观察它,还有一半时间被动作者自己的手臂挡住。用墙上的视角训练策略,你优化的是一个机器人永远不会占据的角度,然后只能寄望技能在切换到它从未见过的视角后还能存活。

第二个理由是供给。你没法从互联网上抓取力的读数或手部姿态,却可以大量记录人们从自身视角做日常事情的画面。Ego4D 采集了数千小时这样的素材;Ego-Exo4D 则同时从第一人称和旁观者两个视角记录同一动作,让模型学到两者之间的关系。机器人团队已经把这类人类视频并入自己的预训练。NVIDIA 的 Isaac GR00T 体系,与其 GEAR Lab 一同开发,其报告显示,加入大量人类与第一人称视频切实提升了操作表现,而不只是充数的填料。模式是一致的:先在海量人类示范上预训练,再用一批较小而精确的数据把模型对齐到某一台具体机器人。

每一段第一人称片段都是一个人

把镜头从机器人移到那个戴着装置的人身上,数据看起来就不一样了。一次第一人称采集会话,记录下的是一个真实的家、任何路过者的脸、一个真实嗓音的声响,以及一双其几何形状足以标识出主人的手。在欧洲法律之下,这些都毫不含糊。它们是个人数据,其中一部分还逼近 GDPR 守护得最严的那些特殊类别。

仅这一个事实,就重排了整个采集问题。一次示范不再只是一个训练样本;它是对一个可识别个人的处理操作,需要合法依据、明确目的、留存期限,以及戴相机的那个人给出的、有据可查的知情同意。这些规则不是为机器人数据而写的,却干净利落地适用于它,因为其输入就是一个活生生的人,在一个他同意佩戴的镜头前做着某件事。

积累这堆数据的两条路

组建一个大规模第一人称数据集,大体上有两种模式,它们的分歧在于记录发生在哪里。

第一种是走量收割:把采集推到劳动力便宜、规则宽松的地方,尽可能多地攒小时数,文书工作事后再补,或者干脆不补。它优化的是每一块钱换来的原始数量。第二种是从第一帧起就把知情同意与溯源内建进去:每一次会话都绑定一个有据可查的对象、一项合法依据、一个地点,以及一份关于哪些内容被匿名化的记录。它每小时的成本更高,换来的却是一个你真的交代得清楚的数据集。

一个数据集,等于它的画面,加上那份写明你被允许记录画面中人的文书。把后半截抽走,看起来像资产的东西,其实是一笔分辨率很高的负债。

有一阵子,第一种模式看上去一味地更便宜,于是它默认胜出。这本账正在变。一个训练商用策略的买家,会继承它所学过的每一段片段的溯源,而这条链上的缺口不是文书上的小麻烦;它是一处缺陷,可能逼你重新训练。

把采集写成一份规格

如果溯源必须随数据一同流转,那么一次达到操作级别的会话,其规格表就有了后半页。前半页是常见的传感器堆栈。后半页则是让每一路通道在法律上可以持有、可以出售的那份记录。EU AI Act 也在朝同一个方向施压,它要求高风险系统的提供方记录进入系统的数据,这就把溯源从一种美德变成了一项归档要求。

一次操作级第一人称会话所记录的内容,以及每一路通道所牵连的知情同意或溯源字段
记录的模态策略为何需要它溯源或知情同意字段
第一人称 RGB,头部与手腕接近的几何关系,接触留在画面内合法依据与对象知情同意的引用
深度伸手距离、抓握预成形、碰撞余量采集地点与司法管辖标签
手与手指姿态面向夹爪的重定向目标对象标识,因为手可被识别,外加留存期限
力与力矩握力、接触起始、打滑会话与操作者的溯源
音频图像会漏掉的接触事件嗓音属于个人数据:单独知情同意或在源头移除
画面中的旁观者属于附带,而非训练信号在源头匿名化,并记录执行这一步的动作

把右侧这一列当作一张模式表来读,而不是一句免责声明。其中每个字段,都是一个认真的买家可以索要、可以审计、并可据以拒收数据集的东西。源头匿名化最要紧:一张在数据离开采集室之前就被打码的脸,是一张日后永远不会变成数据泄露的脸。

「在欧盟司法管辖下采集」作为一个数据集字段

把这些拼在一起,有一句话开始像一个规格取值那样起作用。「按公司架构在欧盟司法管辖下采集」,告诉买家:知情同意、合法依据与溯源链,都落在一个他们本来就必须交代的法律体系之内。这收窄了他们的尽职调查,而不是扩大它。对一家把产品卖进欧洲家庭的欧洲 OEM 来说,一个在同一套规则下组建起来的数据集,不是一种道德偏好;它是审计中少一个的未知数。

这并不会让离岸的走量变得一文不值。廉价而海量的人类视频,会继续在预训练里挑大梁,那里的目标是宽广的视觉与语义覆盖,溯源的门槛也更低。而高价、可交代的采集,则在对齐这一层挣得自己的身价:在那里,一批较小、干净、有据可查的示范,为真实部署调校一个策略,而每一段片段都得经得起审视。

视角之争已成定局:机器人学习操作,最好是从身体自身的视角出发,连同双手、连同力。悬而未决的问题已经移到了下游。必须有人有意地去采集那个视角,一个任务接一个任务,而如今他们还得能说清楚:画面里到底是谁的手,以及在什么条件下。在欧洲,后面这句话正在成为产品的一部分。

egocentric-dataeuropegdprfirst-person-datadata-provenance

来源