机器人Scaling，不一定先拼数据量 作者丨邓哲敏 编辑丨齐铖湧 2026 年 7 月 13 日，RSS 2026 于悉尼正式开幕。从会场展示来看，如何突破机器人数据瓶颈几乎成为今年具身智能研究的一条主线：有人继续扩大数据规模，有人寻找新的数据来源，也有人探索生成模型带来的数据增量。 来自南加州大学 PSI Lab 的 研究团队展示了论文 Ψ₀，从另一个角度展开思考：如果手里的真机数据短时间内无法变多，我们能不能先改变数据的使用方式？ 这个面向通用人形机器人移动操作的开放基础模型，使用约 829 小时第一视角人类视频进行预训练，再利用约 30小时真机遥操作数据完成机器人控制学习。在如今强调大规模机器人数据的背景下，这个数字显得相当克制。但论文报告称，在8个真实世界长程任务中，Ψ₀ 相比公开基线取得了超过 40% 的成功率提升。 这个结果并不意味着机器人不需要更多数据，而是指出：更优秀的训练方式，同样决定了机器人模型的能力上限。 AI 科技评论（雷峰网公众号）独家采访了论文共同第一作者、南加州大学博士生魏松林。他曾在北京大学计算机学院读博，师从王鹤教授。魏松林详细解释了 Ψ₀ 的设计思路，也回应了关于人类数据、世界模型、VLA 路线等几个当前具身智能领域最受关注的话题。 01 从人类视频学理解，用真机数据学控制 Ψ₀ 的核心创新，在于重新设计人类数据与机器人数据的关系。 过去，利用人类数据训练机器人模型通常采用混合训练策略，将人类视频与机器人数据同时喂给模型，希望它同时吸收人类丰富的操作经验和机器人的控制规律。但 Ψ₀ 团队认为，人类动作和机器人动作并不是同一种语言。人的手拥有几十个自由度，可以完成高度灵巧的操作；而机器人手部结构、关节空间、动力学约束都与人类完全不同。如果直接混合训练，模型需要同时拟合两种差异巨大的动作分布，效率低下。 除此之外，两类数据规模本身极不对称。人类第一视角视频可以持续扩展，而公开高质量机器人真机数据目前仍然十分稀缺。如果直接混合训练，大量人类数据很容易淹没机器人动作分布。魏松林介绍，研究团队当时能够获得的公开高质量真机数据规模本身就只有约30小时，研究策略也是基于这一现实条件设计的，而非人为设定数据比例。 基于以上判断，论文提出了一套三阶段训练流程： 第一阶段：利用人类视频学习通用能力。模型使用约 829 小时 EgoDex 第一视角人类视频进行预训练，目标是预测下一步人类动作。这里的关键在于，模型真正学到的并不是人类的具体动作轨迹，而是两类更底层的能力。 一是任务语义。当模型不断看到第一视角视频，它会逐渐建立视觉、语言与任务之间的对应关系，理解不同操作意味着什么。二是视觉表征。由于 EgoDex 采用 Apple Vision Pro 采集的第一视角视频，其观察视角与机器人头部摄像头十分接近，模型能够提前学会如何在操作环境中观察。 魏松林认为，相比任务语义，第一视角带来的视觉表征可能更加重要。因为机器人未来部署时，同样是通过头部摄像头观察环境，这种观察方式与人类第一视角高度一致，因此在人类视频中学到的视觉经验能够更自然地迁移到机器人身上。 这也是团队选择 EgoDex 的重要原因。论文所强调的高质量视频，并不是指视频分辨率更高，而是更准确的三维手部追踪信息。Apple Vision Pro 能够直接获取手部及手指在三维空间中的位置，而大量互联网视频通常需要依赖后处理算法估计手部骨架，误差更大。因此，EgoDex 可以提供更可靠的动作监督信号，更适合作为模型学习人类动作的预训练数据。 第二阶段：利用有限真机数据学习精准控制。在这一阶段，团队不再让模型继续学习人类动作，而是转向机器人本体控制。具体而言，Ψ₀ 会冻结第一阶段训练好的 Backbone，保留其中已经学到的视觉表征和任务语义；同时，在其基础上训练一个 Action Head，将 Backbone 提取的视觉语言特征进一步映射为机器人的关节控制信号。 这里的 Backbone 指的是模型中负责视觉理解和语言推理的主体网络，Ψ₀ 使用的是基于 Qwen3-VL 的视觉语言模型；Action Head 则是专门负责生成机器人动作的输出模块。 这种设计解决了人类动作与机器人动作之间的不匹配问题。第一阶段学习的是人类手部动作表示，而第二阶段需要输出机器人关节空间中的控制信号，二者并不是同一种动作语言。因此，Ψ₀ 不要求模型直接迁移人类动作轨迹，而是利用已经获得的视觉理解和任务语义能力，让 Action Head 专注学习从这些高层特征到机器人动作之间的映射。 消融实验验证了这一设计的必要性：未经 EgoDex 预训练的模型成功率仅约 20%，加入预训练后大幅提升，再结合后续工程优化后达到最佳表现。 第三阶段：专属任务遥操作数据微调。完成预训练、后训练后，使用少量领域内遥操作数据微调动作专家，模型能快速适配全新长时序的灵巧移动操作任务。论文设置 8 项真实场景评测任务，每项任务包含 3~5 个子技能（抓取、推拉、倾倒等），全部任务 30Hz 采样下超过 2000 步，属于典型长时序任务。 02 Ψ₀ 如何适配真实人形机器人？ 三阶段训练解决了学什么的问题，但让 Ψ₀ 在人形机器人上稳定运行，还需要解决几个工程层面的现实挑战。 ▎挑战一：视觉、语言与动作信息的充分融合 Ψ₀ 引入了 MM-DiT（Multimodal Diffusion Transformer）作为 Action Head。团队借鉴了 Stable Diffusion 3 提出的 MM-DiT 网络结构中的"双流"设计——视觉语言特征和动作特征分别经过各自的网络，再通过 Joint Attention 完成融合。相比传统 DiT，这种设计能够让视觉、语言和动作之间的信息交互更加充分。消融实验显示，MM-DiT 的表现稳定优于普通 DiT，主要得益于其双流结构能够更有效地利用 VLM Backbone 提供的视觉语言特征。 ▎挑战二：推理延迟导致人形机器人失衡 如今的 VLA 往往拥有数十亿参数，一次推理可能需要超过 200 毫秒。对于机械臂来说，这样的延迟或许还能接受。但对于需要持续保持平衡的人形机器人来说，每一次等待都可能带来动作停顿甚至失衡。 Ψ₀ 的解决方案是 Real-Time Chunking（实时动作块衔接）。不同于此前一些工作在推理阶段进行实时修正，Ψ₀ 选择在训练阶段模拟这种延迟，随机遮挡当前动作序列的前段，强迫模型只根据已经确定要执行的后段动作来预测接下来该做什么。这样，模型学会了一种惯性，即使前一段动作还没完全执行完，也能提前生成下一段动作，两段之间自然衔接。论文显示，这种训练方式减少了执行中的碰撞，策略运行更流畅，且不牺牲任务成功率。 ▎挑战三：全身控制的现实分工 Ψ₀ 没有试图让 VLA 接管机器人所有控制。论文采用了目前人形机器人较为主流的分层控制架构，VLA 负责高层移动与操作决策，而机器人底层的平衡和步态，则交给独立的 RL Controller（AMO）完成。至少在今天，一个模型解决一切仍然不是人形机器人的现实。 03 具身智能需要怎样的Scaling？ 论文提出的三阶段训练、MM-DiT Action Head、Real-Time Chunking，都不是凭空出现的新概念。但它们被组合成了一套完整的训练流程，让模型在有限的真机数据条件下取得了具有竞争力的结果。 具身智能的发展几乎围绕着Scaling这个关键词展开。更大的模型、更长时间的遥操作、更大的机器人数据集，几乎成为整个行业的共识。Ψ₀ 并没有挑战这一方向，只是在数据仍然昂贵、仍然稀缺的今天，把关注的重点从一味扩大数据规模转向更好地利用现有数据。 这也正是论文结论里那句 "scale the right data in the right way" 想表达的含义。 论文之外，AI科技评论（雷峰网公众号）围绕学界争鸣话题与魏松林开展探讨，以下为未经改变原意的编辑整理： ▎AI科技评论：目前不少研究认为，世界模型比 VLA 拥有更强的泛化能力。你怎么看待这两条路线？ 魏松林：我认为目前还不能简单地下结论说世界模型优于 VLA。如果两者都拥有同样规模的数据、同样大的基础模型，我认为它们最终都有可能达到类似的效果。 今天世界模型表现得更强，一个很重要的原因可能并不是路线本身，而是它背后的基础模型更大。比如很多世界模型建立在视频生成模型之上，这些模型训练的数据量和参数规模，本身就远远超过今天多数 VLM。如果世界模型的基础模型比 VLA 大十倍、训练数据多十倍，那么再用同样数量的机器人数据进行微调，最终性能更好，其实并不能直接说明世界模型路线本身更优。 另外，现在很多人认为世界模型因为能够预测未来，所以真正理解了物理规律。我觉得这个观点目前仍然缺乏直接证据。很多世界模型更擅长的是预测像素空间中更合理的视频，这并不等同于真正理解物理。 ▎AI科技评论：过去一年，机器人数据路线几乎一直在变化。你觉得未来什么样的数据最有价值？ 魏松林：我觉得标准其实很简单：哪种数据采集成本更低、规模扩展更容易，它就更有潜力。 过去一年已经经历了好几轮变化。最开始很多人在用仿真数据，后来发现仿真和真实机器人存在 Domain Gap，于是转向真机遥操作。真机成本太高之后，又开始研究无本体数据。今年开始，第一视角的人类 Ego 数据又越来越受到关注。所以很难说哪一种数据会成为最终答案。 对于做模型的人来说，更重要的是如何把已有的数据利用到极致。对于整个机器人行业来说，更重要的问题仍然是如何持续扩大数据来源。未来如果仿真技术进一步发展，能够生成更加真实的物理环境，那么仿真数据同样可能重新成为非常重要的数据来源。 ▎AI科技评论：有观点认为，机器人真正需要的是更强的控制系统，而不是越来越大的模型。你怎么看？ 魏松林：我是坚定支持大模型路线的。 过去机器人主要采用模块化管线，视觉、检测、规划、控制分别完成，每一步都容易理解，也容易调试。但问题在于，每一个模块都有一定失败率，当多个模块串联起来之后，整体失败概率会不断累积，很难做到极高成功率。而大模型最大的潜力就在于，它有机会把整个流程统一起来，在一些任务上达到非常高的成功率。另一方面，大模型真正重要的不只是提升某一个任务，而是让一个模型能够完成很多不同任务。未来机器人真正能否形成商业价值，很大程度上取决于这种通用能力。 一个人读论文太孤单，一群人刷顶会才好玩。 RSS 2026 召开在即，我们正在召集一波含金量极高的 AI 研究者。群内主打实时论文跟踪与硬核技术探讨，拒绝灌水。 ? 进群传送门： 扫码进群或添加微信Luyoyo_2026，备注：论文群 + 关注的 AI 方向。 搞科研/搞技术，信息差很重要。 来，一起快人一步！ 上车，带你看遍全球 AI 顶会精华 可独家畅览： 专家演讲PPT 大会报告全文 热门论文解读 学术新星访谈 扫描上方二维码 或点击「阅读原文」关注专区。

Full article body is being fetched in the background. Refresh in a moment to see the complete paragraphs. For now this page shows a summary and AI analysis.