机器人数据标注的隐藏成本

两个实验室记录下他们口中的同一个任务：把马克杯从桌上拿起来。在第一套设备上，夹爪的力传感器和腕部相机由同一个时钟打上时间戳。在第二套设备上，相机时间戳来自 USB 驱动，力读数来自另一个控制回路，两个时钟之间漂移约 80 毫秒。把两者喂进同一个模型，一处细微的东西就坏了。策略学到夹爪应该在手指真正接触马克杯之前就开始闭合，因为在训练数据里，接触信号来得偏早。运气好时看起来没问题，运气不好时它会把杯子捏碎。

这就是标注问题，而它其实与画框无关。现代机器人数据集里最昂贵、最容易出错的部分，很少是动作本身，而是包裹在动作外面的元数据：说明这条轨迹意图为何的语言标签、说明每个相机究竟位于何处的标定，以及说明哪一个观测导致了哪一个动作的时间同步。把这些弄错，轨迹依然在那里，依然可以回放，依然被算进你的头条数字里，却在悄悄地毒化训练。

头条数字就是破绽。一个宣称“一百万条轨迹”或“三千小时”的数据集，报出的是采集了多少，而不是有多少可信。这两个数量之间的差距，正是大部分真实成本所在，而它几乎不会出现在新闻稿里。三个层面要承担大部分责任。

没有人能达成一致的标签

语言条件化如今已是标配。Physical Intelligence 的 pi-zero、NVIDIA 的 GR00T 系列、Google DeepMind 的 Gemini Robotics，以及 Toyota Research Institute 的 Large Behavior Models，都接受一句自然语言指令并输出动作。这只有在训练数据本身带有指令时才成立，而指令正是人类判断渗入的地方。

先看粒度。“做一杯咖啡”是一个标签；“拿起马克杯、放到出水口下、按下按钮”是三个；一个 keystep 标注员可能给出二十个。Ego4D 为数千小时的第一人称视频附上了密集的自由文本叙述，其后继者 Ego-Exo4D 又叠加了专家解说与步骤级 keystep，正是因为单一字幕无法同时服务于高层规划器和底层控制器。你每加一层，就是一次独立的标注流程，各有各的人力账单，也各有各的标注员间分歧。

再看标签本身的来源。有些数据集先给出指令再动作，意图干净，但行为可能跑偏；有些先动作再事后回填标签，这样便宜、可规模化，却容易让字幕描述实际发生了什么，而非本来想做什么。两者各有道理。在同一个训练集里悄悄混用它们，就是模型学会“把方块放进碗里”有时指蓝色方块、有时指最近那个方块的原因。

一个机器人数据集的好坏，取决于它对得最差的那个时间戳，和最不一致的那个标签。这两样都不会体现在轨迹总数里。

标定是数据问题，不是一次性的准备步骤

标定通常被当作开工前做一次的事。在一个学习数据集里，它不是准备步骤，而是一个标签，而且是脆弱的标签。相机内参告诉你镜头如何把世界映射到像素。外参，包括腕部相机与夹爪之间的手眼变换，告诉你这些像素落在机器人坐标系的什么位置。任何 3D 监督，无论是深度对齐、点云融合还是多视角几何，都只能和这些数字一样准确。

它的失效方式很安静。一个偏了 2 度的腕部相机不会抛出错误；它产出的数据集里，投影出的夹爪位置始终和真实位置差一厘米。用足够多这样的数据训练，策略就会把这个偏移内化。DROID 花了实打实的力气，在 13 家机构统一使用同一款机械臂 Franka Panda，正是为了让标定和控制约定不因实验室而异。这份纪律，是这批数据能够拼合到一起的重要原因。

时间同步：五十毫秒的谎言

现代设备天生是多速率的。RGB 在 30 Hz 附近，深度按自己的节奏，本体感知更快，力矩往往在数百赫兹甚至更高，音频还要更快。每条流都带时间戳，而时间戳来自不同的地方：相机驱动、控制回路、单片机、墙上时钟。如果你按日志程序收到数据包的时刻、而不是传感器采样世界的时刻来对齐各条流，你就把一段随系统负载变化的延迟烤进了数据里。

五十到八十毫秒听起来无害。对一个接触密集的操作策略而言并非如此，因为它破坏了因果。模型想学的是哪个观测触发了哪个动作，而一条错位的力通道会教它：接触先于运动、或后于运动，方式全都是从未真实发生过的。RH20T 在十万多条序列上把视觉与力矩等多种模态配对，本质上就是一场让这些时钟达成一致的工程。

头条数字掩盖了什么

四个被广泛使用的数据集，四种关于标注力气该花在哪里的不同押注。下面的数字为近似值并做了取整。

为什么汇聚让问题更糟

这个领域应对数据稀缺的答案是汇聚，而汇聚把上面每一个问题都放大了。Open X-Embodiment 把来自 21 家机构的约 60 个数据集（跨 22 种形态）汇入单一训练语料，而你这么做的那一刻，一个数据集的“夹爪张开等于 1”就撞上了另一个的“夹爪张开等于 0”，一家实验室的米撞上另一家的毫米，10 Hz 控制撞上 20 Hz 控制。这些在轨迹总数里同样看不见。

这正是为什么共享的数据格式、而不是共享的模型，在默默扛着重活。Hugging Face LeRobot 推动一套统一的磁盘格式来描述回合、观测与动作，让对齐工作在数据入库时做一次，而不是被每一个接触这批数据的团队重新发现一遍。这件事不起眼，却是如今很大一部分可用机器人数据的流向所在。

操作能力下一次真正的跃升，多半不会以某种新的注意力变体的形式到来，而更可能来自这样一个团队：他们认定时间戳是一等的工程产物，标定是一个带误差棒的标签，一句描述任务的话，值得和训练它的代码享有同样的版本管理。枯燥的活，但也正是在这里，数据不再撒谎。