为什么数据司法管辖对 AI 训练管线至关重要

EU AI Act 把训练数据的溯源变成了一个工程问题,而不只是法律问题。机器人学习数据集如何随每一帧携带司法管辖与同意,以及这为何要紧。

阅读约 6 分钟

一支机器人团队终于交付了一个能够泛化的操作策略。夹爪按指令张开,机械臂在被推动后自行恢复,演示视频看起来干净利落。六个月后,合作方的法务团队提出了一个工程师无法回答的问题:训练混合数据中的每一段片段,是谁录制的,基于什么样的同意授权,又由哪个国家的法律来管辖其再次使用。策略是有效的,可记录链并不存在。这种沉默不是法律脚注,而是数据管线中的一个缺陷。

机器人学习在多数团队尚未察觉时,已经变成了一门数据溯源的学问。现代操作模型所训练的是聚合后的混合数据,而非单一而干净的语料。Open X-Embodiment 汇集了来自 21 家机构、超过 20 种机器人本体的轨迹数据。DROID 在三大洲的 52 栋建筑中采集了约 76,000 段遥操作片段。Ego4D 则补充了约 3,600 小时的第一人称人类视频,由分布在 9 个国家的数百名参与者录制。每一份切片都带着各自的许可条款、各自的同意范围、各自的司法管辖。把它们混在一起,你就一次性继承了全部。

自 2024 年起生效的 EU AI Act,把这种继承变成了一个附带截止期限的合规面。人们的第一反应是把它归入法务范畴,可那是找错了部门。溯源是一种属性:你要么在录制的那一刻就把它记录下来,要么事后再去重建,代价高昂,而且往往根本无法完成。它是一项恰好带着法条的工程约束。

为什么混合数据掩盖了问题

聚合既让这些数据集变得强大,也让它们难以治理。一个在遥操作机械臂数据与第一人称人类视频混合集上训练出来的策略,并不会记录是哪些帧教会了哪些行为。当某位贡献者撤回同意,或某项子许可被发现禁止商业用途时,没有干净的办法能从已训练好的检查点中减去那些梯度。你要么重新训练,要么自己扛下风险。溯源缺陷的代价并非线性,而是接触过问题数据的整个训练运行的代价。撤回同意并非假设:依据欧盟数据保护规则,参与者可以要求删除其数据,而如果他的帧已经烘焙进一个已交付的模型,履行这一请求就是一道研究难题,而不是一条删除查询。

数据卡有帮助,但它描述的是语料,而非片段。Open X-Embodiment 在数据集层面记录了许可信息;其下的每一段片段,都是在各实验室特定的规则下采集的,而这些规则很少会随张量一起流转。一旦所有内容都被序列化进同一个 LeRobot 或 TFRecord 分片,除非有人刻意保留,来源的司法管辖就此消失。

EU AI Act 对训练数据究竟提出了什么要求

剥去风险分级,这部法案提出了三项直接落到数据团队头上的具体要求。通用人工智能模型的提供者,必须保存训练数据的技术文档,公开一份足够详细的所用内容摘要,并维护一项尊重欧盟版权及文本与数据挖掘退出声明的政策。通用模型相关义务自 2025 年 8 月 2 日起开始适用,而内容摘要要遵循 AI Office 发布的模板。这些都无法仅凭一个模型检查点来满足。它需要一份保存在上游的、关于输入了什么的记录。

读一读官方概述,其前提假设就很清楚:你能在被要求时描述自己的训练数据。如果管线在数据摄入阶段就丢弃了溯源信息,那份描述就变成了考古。

溯源是一种属性:你要么在录制的那一刻记录它,要么在损耗中重建它。没有第三个选项,也没有哪个检查点会记得自己的梯度来自何处。

公开数据集实际携带了什么

机器人团队最可能取用的那些数据集,在保留多少来源信息上差异极大。真正要紧的规律是:数据越贴近人类,同意负担就越重,随每一帧同行的司法管辖也就越多。

广泛使用的机器人学习数据集的溯源状况。数字为近似值,依据各项目的公开文档。
数据集主要模态画面中的人类主体许可状况溯源粒度
Open X-Embodiment遥操作机械臂极少,仅操作员混合,按各贡献数据集而定数据集层面
DROID遥操作 Franka 机械臂操作员,偶发入镜宽松的开放许可(CC-BY 4.0)场景与建筑元数据
Ego4D第一人称人类视频大量,佩戴者与旁观者自定义许可加签署的数据协议标注参与者与地点
Ego-Exo4D第一与第三人称配对视频大量,多机位自定义许可加协议参与者、城市、活动
RH20T富接触的机器人操作有限,含少量人类演示研究用途任务与接触元数据

把溯源做成管线的一环,而不是一次法务复核

解决办法并不光鲜,却行之有效。在采集的那一刻,就给每一段片段附上一条谱系记录:来源装置、经哈希处理的操作员或主体标识、同意版本、录制司法管辖,以及许可类别。让这条记录作为图像与动作张量的一等同伴,贯穿每一次格式转换,而不是搁在一旁的一个 README。做到这一点,欧盟要求的训练数据摘要就不再是一个项目,而变成一次查询。存储是便宜的那部分:相对于以 GB 计的视频,一条谱系记录不过几百字节,而这种不对称本身就是全部论据。要么在采集时付出这笔小成本,要么在审计时付出那笔大成本。

同样的纪律在合规之外也有回报。当下游合作方询问某个检查点能否在某一市场部署时,溯源元数据几分钟内就能给出答案。没有它,诚实的回答只是耸耸肩,而耸肩过不了采购这一关。

第一人称数据的棘手之处

第一人称的人类演示,是教机器人理解人究竟如何操作世界的最丰富信号,也正是司法管辖咬得最狠的地方。一台头戴相机会录下面孔、旁观者、厨房、门牌号、屏幕。在欧盟,这些都属于个人数据,而同意必须是具体的、知情的、可撤回的。司法管辖让问题雪上加霜:在一个国家录制、又在另一个国家用于训练的素材,可能同时落入两套法规之下。Ego4D 与 Ego-Exo4D 之所以用签署的参与者协议和去标识化处理来应对,正是因为原始素材若没有这些,在法律上就形同放射性物质。任何规模化采集第一人称数据的团队,无论承认与否,都在运行一套同意管理系统。唯一的选择是:它是被设计出来的,还是临时凑合的。

这给建设者留下了什么

模型会持续变好。真正决定一个检查点能否交付的问题,既枯燥又靠上游:你能否逐片段说清数据从何而来,以及你被允许拿它做什么。在采集时就回答的团队跑得快,在法律取证阶段才回答的团队要重新训练。溯源不是管线上的一道税。近来,它就是管线本身。

data-jurisdictiontraining-data-provenanceeu-ai-actrobot-learningdataset-licensing

来源