前沿资讯!人类数据如何变成机器人真实能力？Ropedia重磅发布六项研究成果

第一视角视频越来越多，研究人员怎样把这些记录变成能够改善机器人能力的训练信息？

(资料图片)

一个人拿起桌上的杯子，相机可以记录下动作的整个过程。但是如何从中提取相机轨迹、手部动作和杯子的位置变化，并将它们与画面和文字描述对齐，还是一个没有被完全解决的问题。且这些信息能否让模型预测得更准、让机器人操作得更好，就更需要通过具体任务来检验。

据机器之心了解，Ropedia 之前已推出 HOMIE 系列数据采集设备、Ropedia Foundry 数据处理平台和 Xperience 系列数据集。团队在采集与整理人类经验之外，还需要检验这些经验中哪些信息对模型有用，以及系统在具体任务中能否把信息用好。因此，10 月 19 日至 23 日，Ropedia 举办了第一届 Ropedia Super Week，在这一周中，集中发布了六项围绕这些问题的研究

Ropedia W0 与 DONIC 分别把人类经验用于未来画面预测和双手操作，直接检验模型能否从中受益。HoliWorld 与 EgoXperience 则关注经验如何被准确记录：前者整理物体的交互历史，并转成能够回查观测依据的训练问答；后者联合重建相机、场景、双手与物体，让几类运动信息在空间上对得起来。

模型得到信息以后，也可能在使用时出错。S-Agent 2.0 研究模型怎样借助工具与场景记忆，依据空间证据作出判断；Ropedia A0 则让编程智能体把观测、决策和检查写成控制代码，由程序完成操作。研究人员可以沿着代码追查失败原因，把修复保存在共享技能中，还可以记录执行轨迹，为后续研究准备数据。

图 1｜Ropedia W0 通过同一个世界模型预测不同本体的画面。模型用相机轨迹与骨架描述运动条件，覆盖人类、夹爪机械臂及灵巧手人形机器人等本体。图中展示的是模型生成的第一视角画面。

01 Ropedia W0

人和机器人，共用一个世界模型

在 Ropedia W0 中，研究团队检验模型从人类视频中学到的经验，能否帮助它预测机器人的未来画面。研究团队用相机位姿描述视角变化，用投影在画面上的骨架描述动作，让人手、夹爪和机械臂共用一套运动接口。模型结合起始画面、文本与运动条件，预测后续第一视角视频。

图 2｜Ropedia W0 通过共享运动接口接收不同本体的运动条件。相机轨迹描述视角变化，骨架描述手部或夹爪的运动。模型结合起始画面、文本和运动条件，生成后续第一视角视频。

为了训练这一模型，研究团队构建了 Xp-Data，整合约1 万小时人类第一视角视频和 3000 小时机器人视频，统一相机轨迹、运动骨架和任务描述等多模态标注。

除了数据规模，准确的动作与视觉对齐同样重要。研究团队发现，所使用的开源机器人数据集未提供可靠的手眼标定结果，或存在手眼标定不准确的问题，导致机器人关节状态与视频画面中的运动难以准确对应。为此，团队通过人工标注和修正机器人关键点，改善运动信息与视觉画面的对齐精度。Ropedia W0 随后利用人类视频进行预训练，再加入机器人数据进行人机混合训练。

在覆盖八种本体的跨本体评测中，同一组 Ropedia W0 权重无需针对目标评测数据额外训练，就取得了 21.98 dB 的 PSNR，高于使用相同机器人混合数据适配的 Cosmos3-Nano（19.02 dB），展现出跨本体的世界预测能力。

人类经验还显著降低了机器人后训练的数据需求。在 GR-1 评测中，使用 W0 预训练权重的模型，仅需 1% 的机器人后训练数据，预测质量就超过了使用全量数据的通用视频生成模型初始化版本。进一步的 Scaling Law 实验显示，随着人类预训练视频增加到 1 万小时，模型在人类和机器人评测中的预测质量均持续提升。

除了预测未来画面，Ropedia W0 还被用于机器人策略评估（Policy Evaluation）和基于模型的规划（Model-based Planning）。研究人员让世界模型模拟不同策略的执行结果，并根据预测画面评估策略表现。在 Unitree G1 真机实验中，模型评估结果与实际表现的相关系数达到。在规划任务中，机器人可以先通过模型预测不同候选动作的结果，再选择更合适的动作执行，真机任务完成进度由随机选择时的 26% 提升至55%

Ropedia W0 还展示了实时交互能力。经过模型蒸馏加速后，系统在单张 GPU 上达到21.3 FPS的视频生成速度。用户可以佩戴 VR 头显，通过头部和手部运动实时控制生成的第一视角画面，实现超过一分钟的连续交互。

研究团队还将 Ropedia W0 的预训练权重用于机器人动作学习。他们使用 Ropedia W0 5B 初始化世界动作模型 FastWAM 的视频骨干，保持动作预测头和训练方案不变。在 LIBERO-Plus 基准上，Ropedia W0 初始化版本的成功率由50.06% 提升至 56.82%，并在相机、光照、背景等七类环境扰动下均取得改善。

从跨本体世界预测，到策略评估、动作规划和实时交互，Ropedia W0 展示了大规模人类经验在机器人学习中的多种用途，也为减少机器人专有数据需求提供了新的研究方向。

图 3｜Ropedia W0 支持实时 VR 交互与真机部署。左：操作者佩戴 Quest 3 实时驱动模型，以 21.3 fps 生成机器人或人类视角画面。右：用 Ropedia W0 初始化的策略在 Unitree G1 上执行任务，每行左为外部视角，右为机器人视角。

02 HoliWorld

一只杯子的 “行踪”也能变成训练数据

HoliWorld 将第一视角录像中的物体、位置变化和交互过程整理成可查询的记录，再把记录转成训练问答。例如，一个人把杯子从桌上拿走，又放到另一处，模型需要认出前后出现的是同一只杯子，并把两个位置和中间的操作联系起来。

据论文介绍，HoliWorld-Foundry 首先利用同步双目画面与 IMU 数据恢复场景几何和相机位姿，随后分别处理静态物体与动态目标。静态分支融合图像与点云的检测结果，再由 VLM 核查；动态分支则结合交互描述与关键帧关联物体身份，跟踪物体区域，再将结果映射到统一的世界坐标。当前动态标注流程假设同一时刻至多有一个物体正在运动。

经过这套处理，团队可以把同一物体在不同片段中的状态接起来。系统保存的三维框、运动轨迹和交互语义都关联着观测证据，研究人员可以据此找到一次移动发生的时间和对应画面。下图的办公室展示了一个例子：手推车从 A 移动到 B，其轨迹与房间结构一起显示在三维场景中。

图 4｜HoliWorld 将场景与物体运动保存在同一份世界记录中。系统将相机路径、静态物体与动态目标放入同一坐标系。图中手推车从 A 移动到 B，其轨迹与房间结构共同呈现在三维记录中。

据悉，团队已将约 100 个场景、444 段录像整理为 HoliWorld-Data，并生成约 7.8 万组空间、时间和交互问答。每道题的答案都能追溯到具体观测。研究人员另外对留出的录像进行独立人工标注，构建 HoliWorld-Bench，用于评估自动标注的质量和模型能力。

团队还用这些数据微调 Qwen3.5-4B，得到 HoliWorld-VL，并在外部评测 EgoDynamic4D 上检验学习效果。模型的 Token F1 从微调前的18.29% 提高至 66.39%。这组实验显示，团队自动构建的监督数据能够改善模型在外部空间与时间推理评测中的表现。

03 EgoXperience

让第一视角中的相机、场景、双手和物体回到同一个世界

EgoXperience 让模型同时重建相机、场景、双手和物体，帮助研究人员还原一次操作在三维空间中如何发生。相机在移动、手在操作、物体也在移动时，分别估计这些要素再拼接，容易出现局部姿态合理、整体关系错位的问题。这项研究用统一的空间参照，把这些与操作有关的信息对应起来。

EgoXperience 为此提出了一套覆盖真实采集、自动标注、统一建模与评测的全栈范式，希望将大规模第一视角经验转化为与物理世界几何对应的统一表征。整套流程包括数据处理系统 EgoX-Engine、数据集 EgoX-Data-6M、评测基准 EgoX-Bench 和联合重建模型 EgoX。

其中，EgoX-Engine 将 HOMIE 采集的真实经验整理为 RGB、深度、相机位姿、MANO 双手、物体掩码、物体 6DoF 轨迹、度量物体网格和任务描述八类同步模态。团队据此构建了包含 50 小时、540 万帧、270 项任务和 101 个物体的 EgoX-Data-6M，覆盖单区域操作、跨房间交互及户外移动，并整理出一小时的 EgoX-Bench，用于评估联合重建能力。

在模型侧，EgoX 将 VGGT 的前馈重建范式从场景扩展到第一视角视频。模型仅接收单目视频和首帧物体掩码，就能通过单次前向联合预测相机、场景深度、双手和物体运动，并将它们放入共享的度量世界坐标系。训练时，手和物体在世界坐标系中的误差还会反向约束相机估计，使各项任务在几何上相互关联。

图 5｜EgoXperience 的统一重建能力。给定 ego 视频与首帧物体掩码，EgoX 仅需一次前向，即可在统一度量坐标系中联合恢复场景、相机、双手与物体 6DoF。动图展示了模型在不同物体与操作场景中的重建效果。

实验结果显示，相较论文中最强的对照方法，EgoX 在 HOI4D 上将相机误差降低 68.9%，在 EgoX-Bench 上将手部世界坐标误差和深度误差分别降低 65.6% 和 42.9%，并在 HOT3D 上将物体位姿评分提升 28.0%。这些结果表明，当多种监督信号被组织到同一个几何体系中，人类经验可以为具身智能提供更完整、更高密度的学习信息。

04 S-Agent 2.0

强化工具调用与场景记忆，让模型更懂空间

S-Agent 2.0 通过感知工具和可查询的场景记忆，帮助现有编程智能体依据空间证据作答。论文中的一个失败案例说明了问题：基线系统 SpatialClaw 一度算出壁炉位于楼梯西侧，最后却回答东侧。工具返回了正确的三维位置，模型却又采信看图产生的直觉，改掉了原来的判断。

团队为现有的通用编程智能体配备了一套命令行感知工具包，整套方法无需新增模型训练。智能体可以继续使用原有的代码执行、文件访问和检查修正流程。研究团队在 OpenHands、Codex 和 Claude Code 三种框架中验证了这一方法。

以 “躺在床上时，停车场在我哪一边” 为例，智能体需要采用题目指定的视角。它先重建场景，再把 “躺着的人” 登记为具有位置和朝向的观察者，随后调用工具查询相对于这个人的方位。模型还可以核对感知输出、删除错误登记的实例，使其理解的对象与工具测量的对象对应起来。

工具包负责保存这些几何信息，并为每道题维护一份可查询的场景记忆。智能体后续可以按实例名称查找证据。工具每次返回读数时，都会注明对象、单位和参考系，并附上空间解释，例如 “停车场在观察者右侧 2.78 米”。如果需要进一步核实，智能体还可以打开文件，查看完整测量结果。

图 6｜S-Agent 2.0 按题目指定的观察者视角读取方位。智能体把 “躺在床上的人” 登记为具有位置和朝向的观察者，再调用工具查询停车场的位置。工具返回的结果表明，停车场在其右侧 2.78 米；该数值是右侧方向上的分量。

团队比较了同一通用编程智能体接入工具前后的表现。在 Qwen3.8-27B 骨干下，ReVSI 得分从61.8 提高至 82.3；在五项空间推理评测中，系统均领先论文所列的智能体基线。换用 Gemini-3.8-Flash 时，团队采用同样的有工具与无工具对照设置，ReVSI 得分从 80.9 提高至 90.5。

图 7｜工具包提高了同一编程智能体的 ReVSI 得分。研究团队保持骨干不变，比较智能体接入工具前后的表现：Qwen3.8-27B 从 61.8 提高至 82.3，Gemini-3.8-Flash 从 80.9 提高至 90.5。本图根据论文 Table 5 重绘。

05 DONIC

一套策略，让机器人学习双手协作

DONIC 把人类双手演示转成动作参考，用一个共享策略，让两只灵巧手在仿真中跟踪这些参考、协同操控物体。在论文的对比实验中，有的方法虽然让手的姿态接近演示，物体却没有到达目标位置。机器人因此需要同时跟踪手部动作和物体运动，并处理两只手先后接触物体的情况。

图 8｜不同策略在仿真中执行同一段双手参考。图中从左至右依次展示重定向参考、DexTrack-bi、Dexplore-bi 与 DONIC。图片截取自演示视频，展示了各方法执行时双手与物体的相对关系。

Ropedia 团队为此提出 DONIC，用一个共享策略跟踪不同的人类双手演示。论文报告，在仿真单物体评测中，仅用公开数据训练的同一个 DONIC 策略无需针对测试参考微调，在训练物体的 53 段未见轨迹上取得86.79% 的跟踪成功率，在涉及未见物体的 164 段参考上达到 57.32%。评测要求两只手都满足跟踪指标。

据团队介绍，研究人员先重建人类双手与物体的三维运动，再将手部动作重定向为机器人参考。DONIC 随后结合 PPO 与 BC 开展训练：策略通过仿真交互学习，系统则将经过验证的成功执行轨迹存回示范库，供后续更新使用。

双手接触物体的时机往往不同，DONIC 因而持续评估物体是否按参考运动，并根据每只手的接触角色分别提供奖励。当一只手先扶稳物体、另一只手随后参与时，策略也能分别获得对应的学习信号。针对演示片段之间的难度差异，团队还设计了 Clip-Centered Advantages：系统减去每个片段自身的优势均值，保留片段内部动作的相对差异，缓解难易差异对共享训练的干扰。

团队还向训练集加入自建 BiHOI 数据集中的 1575 段双手交互参考，保持训练方法不变。两组测试的成功率分别升至 88.68% 和 59.76%，七项指标均有改善。增加这批人类双手演示后，DONIC 在未见轨迹和未见物体上的仿真跟踪都更准确了。

图 9｜加入 BiHOI 数据后，DONIC 的仿真跟踪表现进一步改善。左侧评测使用训练物体上的 53 段未见轨迹，右侧使用涉及未见物体的 164 段参考。团队加入 1575 段 BiHOI 数据后，DONIC 的成功率分别由 86.79%、57.32% 提高至 88.68%、59.76%。模型在测试时不针对参考微调，两只手均须满足跟踪阈值。

06 Ropedia A0

用 SWE 的思路解具身任务

机器人每动一步，都要等大模型想一想吗？Ropedia A0 的答案是：不需要。A0 探索一种新范式：用纯代码作为机器人策略。编程智能体在开发阶段像软件工程师一样，把感知、决策和检查写成代码；机器人执行时只跑代码：读画面和关节读数，测量物体，算出动作，检查结果。纯代码平均每局约 17 秒，模型在环平均每局约 1.8 分钟。

在团队看来，代码本身就能做闭环决策、处理错误。它把机器人策略变成解一个物理问题，不需要 “背” 轨迹：每一步都现场解题，先看清物体和自身的状态，再按形状、尺寸等物理属性算出动作。A0 采用 Embodied Turing Machines 论文提出的 Code-Only-as-Policy（COAP），把这些决策连同检查和失败重试一起写进技能，原本留给大模型的在线决策由此交给代码自动完成。

• 泛化：技能按物理属性编写，不认物体名字，换物体、换任务都能用。
• 可解释：每个决策都是一行可读的代码，出了问题能定位到具体一行。
• 复用：技能沉淀在共享库里，新任务先复用，不够再扩展。

图 10｜技能按形状和意图选抓法，抬起后没看到物体升高，就抬高重看，确认抓住再继续。

论文报告，按 RoboDojo 公开协议自测，COAP 在 42 个双臂仿真任务上的成功率为 70.24%。

同一个技能库可以跨本体复用：换本体只需一个适配层和一份本体规格文件，技能和检查不变。团队在 LIBERO 的 Franka Panda 和配备 22 自由度灵巧手的 MARVIN 上做了仿真验证，灵巧手 pick-and-place 首次抓取准确率 94%。在 sim-to-real 上，AgileX PiPER 在仿真孪生中首次成功率 95%，上真机只加适配层，pick-and-place 也能成功。

图 11｜同一套技能跨本体复用。

A0 想回答的是：纯代码作为机器人策略，上限在哪里。在这一范式下，代码从供模型调用的工具，变成了自带决策、能自我检查和纠错的闭环技能。A0 也验证了代码的泛化性：技能不需要每个任务重写，一个共享库就能跨任务、跨本体复用，并实现 sim-to-real transfer。

07

用任务结果检验经验的价值

回到开篇那只杯子，研究人员关心的已经不只是录像是否完整。同样一次操作，相机轨迹与手部动作有没有对齐，模型能否认出前后出现的是同一物体，程序能否判断杯子是否已经抓稳，都会影响后续的学习和执行。此次发布提供了几种具体的检验办法。研究人员可以比较采用不同预训练数据时的模型效果、加入双手演示前后的控制表现，也可以在保持骨干不变时，观察工具与场景记忆怎样影响判断。不同对照让团队能够分辨，哪些改进来自经验本身，哪些还取决于信息的组织和使用。

Ropedia Super Week 给我们带来的最新的一系列研究成果，告诉了我们什么是高质量的 ego 数据与标注，以及这样的高质量数据可以极大地推进对此类问题的研究进展。对于 Ropedia 而言，这些结果可以反过来指导后续的数据采集、标注与模型研究。人类经验的价值，终将体现在机器人在具体任务中的表现。

论文与项目主页

Ropedia W0

• 项目主页：https://ropedia.github.io/ropedia-w0/
• 论文：https://arxiv.org/abs/2610.26855

HoliWorld

• 项目主页：https://ropedia.github.io/holi-world/
• 论文：https://arxiv.org/abs/2610.26549

EgoXperience

• 项目主页：https://ropedia.github.io/EgoXperience/
• 论文：https://arxiv.org/abs/2610.26625

S-Agent 2.0

• 项目主页：https://ropedia.github.io/S-Agent-2.0/
• 论文：https://arxiv.org/abs/2610.28354

DONIC

• 项目主页：https://ropedia.github.io/DONIC/
• 论文：https://arxiv.org/abs/2610.29997

Ropedia A0

• 项目主页：https://ropedia.github.io/ropedia-a0/
• 论文：https://arxiv.org/abs/2610.12369

标签： 轨迹 动作 位姿 机器人 智能体 灵巧手