跳到正文
WorldFoundryPHYSICAL AI · REAL2SIM2REALRESEARCH IN PROGRESS
实验 Demo/真机数据 → 仿真重建

RECONSTRUCTION ATLAS / 2026.10.24

从一条示范,
到可验证的世界。

把真机录制、估计场景和物理结果放在同一张进度图上。先用现有模型与可追溯估计推进仿真,再逐步检验它与现实的一致性。

6本机已有录制旧叠杯 1 + HF 5
5 / 569HF 数据处理完成获取、校验、解码与接口导出
0 / 5试运行样本完整重建局部诊断不计为完整操纵
564HF 尚未下载先打通每类 1 条,再扩批

01 / REAL RECORDINGS

五类任务,569 条录制。

一条 episode 算一条。多视角、帧数和重复实验不会增加录制数。下列是固定版本来源清单,不是实时 HF 总量。

SELECTED LOCAL EPISODE

桥式杯塔

先在一条完整录制上验证,再扩展这一类任务。

来源数据集 ↗

当前 HF 状态:数据处理已完成;完整物理操纵、训练收益和真机迁移尚未验证。

可下载、可核对的清单569 条录制 CSV ↓统计 JSON ↓
最早叠杯案例的生成控制仿真画面;与新HF桥式杯塔分开

CASE 000 / THE ORIGINAL CUP DEMO

最早那条叠杯,还在这里。

约 75 秒,四路相机与位姿。已有场景和完整物理实验;原反馈重放仍失败。同场景重新生成的 5 条候选中 3 条通过旧任务验收,它们不是 3 条新增真机录制。

打开完整多相机 Demo ↗旧三杯套叠与新 HF 桥式杯塔分别统计,原轨迹 1:1 均未证明。

02 / HARNESS LOOP

失败回到具体环节。

主要技能:worldfoundry-real2sim。Agent 组织工具和修正,验收程序重算日志。当前是工程迭代,并非已经证明的自主自我改进系统。

证据→资产 / 场景→原生执行→独立验收→报告 / 数据
↶ 失败证据 → 定位原因 → 声明修改 → 冻结条件最小复验
每阶段的输入、输出与实际范围
阶段输入输出 / 格式状态与边界
01 · 证据接入HF repo / commit、MCAP、旧视频与位姿、机器人模型inventory.json、acquisition.json、SHA2565 条 HF 已处理;旧录制独立保存
02 · 解码与对齐原始消息、schema、log / publish / header 时间messages.jsonl、schemas/*.msg、图像字节、manifest.json目标 / MotorControl / feedback 分开;保留缺失
03 · 资产与参数估计RGB / 可用深度、模型库、任务说明、尺寸先验Blender / mesh、参数 JSON、来源与估计区间允许估计尺寸;新任务资产尚未全部建好
04 · 场景与控制计划物体资产、机器人 USD / URDF、初态、动作语义scene.usda、plan.json、参数与代码 SHA真实控制与推断控制单独标记
05 · 原生物理执行冻结场景、控制器、episode、seed、阈值states.jsonl、contacts.jsonl、result.json已有组件和双臂诊断;新 HF 完整操纵待执行
06 · 独立验收原始状态 / 接触 / 命令、冻结 gate、参考轨迹逐项 PASS / FAIL / UNVERIFIED、误差、失败索引状态日志独立重算;不拿文件生成代替任务通过
07 · 诊断与最小复验失败证据、baseline、声明的修改项candidate、新日志、同条件配对与留出段报告只重跑受影响阶段;保留失败与重试成本
08 · 数据与展示有效掩码、动作观测、相机引用、验收与成本training.npz、VLA JSONL、JSON / CSV / 中文报告现有为自定义接口;新 HF 物理合格数据 0 条

训练中间层:20 Hz 因果对齐,float32 [N,14];左臂6+右臂6+左右夹爪各1。motion_target 为动作,feedback 为观测,MotorControl 独立保存。缺值用 mask 与 null / NaN 表达;VLA 为自定义格式,未宣称 LeRobot 原生兼容。

03 / PHYSICAL VALIDATION

验收用什么,已经验到哪一步。

既检查物理结果,也检查证据是否完整。独立重算器与模拟器共享日志,不等于独立真机测量。

verify_payload() / audit()

文件 SHA、消息流、时间与字段完整性

已用于五条 HF intake

velocity_violations()

非有限速度与超速;异常落盘后停止

已用旧失败日志验证中止条件

evaluate_bridge_probe.assess()

有效支撑接触、穿透、姿态、漂移与停稳

两个合成组件正负例;不代表机器人操纵

evaluate_arm_interface.py

时钟与命令因果性、步数、驱动参数、关节 RMSE

四次双臂诊断;真实控制律未核实

evaluate_implicit_holdout.py

同输入/初态、冻结方案、留出时刻与误差

2 s 连续诊断,留出段 0/468 超速

新任务完整 gate

抓取→搬运→释放→撤手→稳定;任务特有事件

桥式杯塔、插入、拉链、网球尚未全部接通

展开:当前合成桥式支撑探针的固定阈值

支撑高度误差 <4 mm;最后0.5s位置漂移 <2 mm;最终线速度 <0.01 m/s;最大穿透 <2 mm;倒扣倾斜 <5°。还需最终支撑接触持续有效。阈值仅适用于这两个合成组件探针,不能直接用作精密插入或完整HF任务门槛。

双臂留出段诊断426 / 468 → 0 / 468同时间点超速状态数 · 显式 → 隐式候选

这证明已测窗口数值稳定性改善。没有任务物体,实际 ACU 控制律仍未核实;完整物理任务成功率与单位合格数据成本均为 N/A。

04 / ESTIMATE → TEST → CALIBRATE

缺少实测,也可以先做仿真。

估计值进入探索性仿真;真实测量用于校准与验证。两条路径都有用途,分别报告。

01 / ESTIMATE

Agent 给出初始假设

结合图像、机器人尺度、现有模型与常见物体先验,记录尺寸、质量和摩擦的估计来源。遮挡部分保留不确定性。

02 / TEST

在物理里检查是否成立

先测碰撞、支撑、可达性,再测完整抓取与释放。对估计尺寸做固定范围扰动,观察结论是否稳健。

03 / CALIBRATE

用新增证据收紧误差

实测尺寸、有效深度与驱动说明到位后校准。未实测时标为估计,不阻止探索,也不宣布真机等效。

现有四个相机 MKV 为彩色轨;五条 HF 的十个腕部深度通道均为 0 帧。顶部双目可用于推导深度,但标定/矫正绑定仍需核对。这里没有上传原始 MCAP、私有相机 ZIP 或凭据。