面向操作任务的表征学习：决定成败的特征

找两个团队，给他们同样的 500 段机器人抓取马克杯的示范，再让他们训练同一个策略网络。一个团队把原始摄像头像素喂给策略；另一个团队喂的是在数百万张互联网图像上预训练过的视觉编码器所提取的特征。在训练用的杯子上，两者看起来都不错。但换成机器人从未见过的杯子、从未见过的灯光，差距就出现了：一个策略能找到杯柄，另一个却在空桌面上乱抓。

除了表征，什么都没变。数据相同、网络相同、奖励信号也相同。策略被允许看到的特征，决定了之后发生的大部分事情。这是操作学习中一根安静的杠杆，也是现实中大量成败真正被敲定的地方。

所以，值得把话说清楚：什么是表征，它从哪里来，以及为什么答案在很大程度上是一个关于数据的问题。

特征向量就是策略的整个世界

策略是从观测到动作的映射。在这两端之间，坐着一个编码器，它把像素、深度、关节角度和力读数转化为一个紧凑的向量。这个向量就是策略所知道的一切。如果编码器丢掉了杯柄的位置，后续再多的训练也无法把它找回来。

好的操作特征往往具备几个共同点。它们有空间基础，让策略在三维中推理物体的位置，而不只是画面里出现了什么；它们在时间上保持一致，让一次缓慢的伸手读作一个连贯动作，而不是十张互不相关的快照；它们能无视干扰项：杂乱的台面、飘动的阴影、突然打开的灯；对于富接触任务，它们还携带力信息，因为你无法用眼睛看出一次抓取正在打滑。

缺了其中任何一项，失败都很具体。丢掉三维信息，机器人会误判深度；丢掉时间结构，它会卡顿；丢掉力信息，它会把本该轻拿的纸杯捏扁。

操作特征从何而来

特征没有唯一来源，而且这个选择是一个带有真实取舍的工程决策。大体上有五种选项在被使用，多数现代系统会把它们混合起来。

有意思的是最后两行。在普通视频上训练的自监督编码器，其中不少出自 Berkeley BAIR blog 及其合作者，为该领域提供了首批被广泛复用的、面向控制的视觉先验。它们之所以有效，是因为操作任务在不同场景间共享结构，而这种结构在无标签学习中依然得以保留。

冻结、微调，还是从零训练

一旦有了预训练编码器，下一个岔路口是要不要冻结它。冻结既便宜又稳定：特征保持不动，策略在其上学习。但它也限制了系统的适应上限，因为一个冻结的编码器无法察觉它在预训练时从未学过要去表示的线索。

在机器人数据上微调编码器能弥合这一差距，代价是需要更多示范，以及实实在在地过拟合到实验室的风险。近期的大型 VLA 技术栈，包括 NVIDIA GEAR Lab research 周边的工作，以及 Physical Intelligence blog 所描述的通用策略，都更倾向于在一个强骨干网络上微调，而不是从冷启动开始。这个模式相当一致：广泛预训练，狭窄适配。

一个操作策略的聪明程度，永远不会超过它被允许看到的特征。编码器之后的一切，都只是对这些特征的算术运算。

为什么只靠像素会碰到天花板

面向操作，网络预训练的视觉有一个硬上限：它被优化用来回答图像里有什么，而不是如何对其采取行动。一个模型可以完美地叫出马克杯的名字，却完全不知道一只手在触碰之前如何预先塑形。那种知识存在于交互之中，而不在图注里。

有两条应对之路经受住了考验。第一条是以物体为中心的关键点表征，即物体上稀疏的若干点，策略可以追踪它们并在不同实例间泛化，这一思路在 Stanford IRIS lab 被大力推进。关键点丢掉了图像的大部分，只保留最要紧的部分，这恰恰是它能迁移的原因。第二条是融合非视觉通道：本体感受告诉机器人自己的关节在哪里，力-力矩告诉它世界正以多大的力回推。这两者都不会出现在一张照片里。

表征会继承它的训练数据

这里是常被低估的一点。表征是对其预训练分布的一种压缩，因此它也继承了该分布的盲点。在有图注的网络图像上训练，你学到的是物体身份；在人们用双手做事的自我视角视频上训练，你才开始学到可供性、接触，以及一次抓取的编排。

这就是为什么像 Ego4D 这样的第一人称语料，以及像 Open X-Embodiment 这样的跨本体集合，其意义远超其原始规模。它们把预训练分布推向机器人真正要做的事情。由此得到的特征，在第一天就更接近操作任务，早在采集到任何一段机器人示范之前。

这种效果在迁移中是可测量的。相比在物体分类图像上预训练的骨干，在手与物体交互视频上预训练的骨干，往往只需更少的机器人示范就能达到给定的成功率，因为它一开始就对抓取点和接触更敏感。预训练集就是一种先验，而一个好的先验，抵得上你从此不必再采集的那些示范。

务实的结论

如果一个操作策略泛化不佳，编码器应是第一个排查的地方，而不是最后一个。问一问这些特征能表示什么、不能表示什么；问一问是什么数据教会了它们。换上一个更强、更匹配的表征，往往比在同一个骨干上再加一千段示范更管用。特征是地基，而地基在房子盖起来之后很难再修。