跳到正文
WorldFoundryPHYSICAL AI · REAL2SIM2REALRESEARCH IN PROGRESS
Physical AI数据与工具

DATA / CODE / REUSABLE HARNESS

把实验沉淀成工具,
把轨迹整理成数据。

从真实录制、几何与物理建模,到 rollout、独立验证和 VLA 数据接口。当前为研究初版,能力与验证范围分别说明。

REAL2SIM LAB / V0

一个可以持续改进的实验工作区。

将输入、建模、执行与验收组织成可复用的程序链。保留版本、来源和失败记录,让下一次任务可以沿着现有证据继续迭代。

需要独立安装 Blender / Isaac Sim

下载包为精选源码、Skill、配置示例与读取器。原始 MCAP、私人录制日志、机器设置与凭据不在包内。

SOURCE / HARNESS / SKILL

Real2Sim Lab v0

物体 · 场景 · 任务 · 验证 · 数据接口

下载代码与 Skill ↓ZIP · 463 KiB · 研究初版

查看源码清单与校验信息 ↗

六个环节,分别验收。

环节代码能力验证范围
真实录制ROS2 MCAP/CDR、内嵌 schema、三层控制与时间戳构造消息往返已测试;新真实 MCAP 载荷尚未复验
资产Blender 空腔杯、法线、拓扑、体积与 .blend合成几何检查通过,材料未实物校准
场景USD、碰撞、质量、支撑与场景重载结构重载通过;本轮新原生 smoke 未执行
Rollout原生 PhysX、状态—动作—下一状态、接触日志原反馈失败与生成控制成功分别保存
物理验证18 项独立任务检查与轨迹差异不以渲染、代码测试或最终成功替代原轨迹对齐
VLA 数据目标/反馈/控制分离、图像/语言/14维动作、有效性与填充掩码格式与读取器构造消息测试通过;未训练或部署策略

目标、控制、反馈,是三层数据。

训练动作标签与真实执行结果分别保存。相机保留自己的原始时间;时间对齐、缺失信息和有效性均需显式记录。

01 / TARGET

策略目标

/motion_target/*

希望机器人完成什么动作。策略动作标签需要核对具体消息语义与单位。

02 / CONTROL

电机控制

/motion_control/control_*

p_des、v_des、kp、kd、t_ff、mode。数值相同仍需验证执行语义与驱动响应。

03 / FEEDBACK

实际状态

/hdas/feedback_*

真实发生了什么。反馈轨迹单独作为观测,保留时间、模式与零偏。

什么数据,可以进入训练候选?

当前同一 1 mm 场景中三条局部生成控制通过 18 项独立检查,合计 54,216 条 240 Hz 状态—动作—下一状态转换。只有其中一条包含两视角共 3,014 张 RGB;其余两条主要是 privileged 状态与动作。

VLA 初版包含图像、语言、14 维目标动作、状态与掩码。构造消息往返、因果时间对齐和读取器已有测试;尚未进行策略训练,也未验证真机部署。展示视频不额外算作新的行为示范。

训练候选索引 ↗Lab v0 验收记录

真实录制与后续数据源

五个数据源:杯塔、插座、拉链、网球右手、网球左手。来源登记不等于载荷或任务已通过验证。

旧 75.35 秒录制仅有反馈,不等于所有真机数据都缺少目标。新 MCAP 字段审阅已包含 motion_target 与电机控制;新旧录制身份尚未匹配,真实载荷尚待独立复验。

实验资料与历史对照

完整实验报告 · 原轨迹验证 · 生成控制验证 · 历史视觉重建