六个环节,分别验收。
| 环节 | 代码能力 | 验证范围 |
|---|---|---|
| 真实录制 | ROS2 MCAP/CDR、内嵌 schema、三层控制与时间戳 | 构造消息往返已测试;新真实 MCAP 载荷尚未复验 |
| 资产 | Blender 空腔杯、法线、拓扑、体积与 .blend | 合成几何检查通过,材料未实物校准 |
| 场景 | USD、碰撞、质量、支撑与场景重载 | 结构重载通过;本轮新原生 smoke 未执行 |
| Rollout | 原生 PhysX、状态—动作—下一状态、接触日志 | 原反馈失败与生成控制成功分别保存 |
| 物理验证 | 18 项独立任务检查与轨迹差异 | 不以渲染、代码测试或最终成功替代原轨迹对齐 |
| VLA 数据 | 目标/反馈/控制分离、图像/语言/14维动作、有效性与填充掩码 | 格式与读取器构造消息测试通过;未训练或部署策略 |
目标、控制、反馈,是三层数据。
训练动作标签与真实执行结果分别保存。相机保留自己的原始时间;时间对齐、缺失信息和有效性均需显式记录。
策略目标
/motion_target/*希望机器人完成什么动作。策略动作标签需要核对具体消息语义与单位。
电机控制
/motion_control/control_*p_des、v_des、kp、kd、t_ff、mode。数值相同仍需验证执行语义与驱动响应。
实际状态
/hdas/feedback_*真实发生了什么。反馈轨迹单独作为观测,保留时间、模式与零偏。
什么数据,可以进入训练候选?
当前同一 1 mm 场景中三条局部生成控制通过 18 项独立检查,合计 54,216 条 240 Hz 状态—动作—下一状态转换。只有其中一条包含两视角共 3,014 张 RGB;其余两条主要是 privileged 状态与动作。
VLA 初版包含图像、语言、14 维目标动作、状态与掩码。构造消息往返、因果时间对齐和读取器已有测试;尚未进行策略训练,也未验证真机部署。展示视频不额外算作新的行为示范。
真实录制与后续数据源
五个数据源:杯塔、插座、拉链、网球右手、网球左手。来源登记不等于载荷或任务已通过验证。
旧 75.35 秒录制仅有反馈,不等于所有真机数据都缺少目标。新 MCAP 字段审阅已包含 motion_target 与电机控制;新旧录制身份尚未匹配,真实载荷尚待独立复验。