跳到正文
WorldFoundryPHYSICAL AI · REAL2SIM2REALRESEARCH IN PROGRESS
Physical AI方法与验证

METHOD / HARNESS / VALIDATION

把仿真，变成可检验的实验。

真实示范、物体与场景建模、原生物理执行、独立验证，以及失败后的修订循环。每个结果都有自己的输入、版本和适用范围。

METHOD

从真实示范到可验证的物理轨迹

Technical abstract

WorldFoundry 将真实示范转化为可执行、可追溯的仿真实验：以四路录像和配套关节反馈为输入，结合厂家机器人模型、夹爪 CAD 与估计杯壳几何，分别构建物体、场景和任务。原反馈按原时间轴输入 Isaac Sim，由 PhysX 在 240 Hz 下求解接触与杯子运动；独立评估器同时检查动作执行、接触支撑、释放稳定性及相对真实参考的轨迹差异。每次失败都回溯到具体几何、参数或控制候选，以新版本复验。当前原动作在 1 mm 有效杯壁模型中仍出现红杯侧倒，尚未实现 1:1 物理复现；同一场景中重新生成的三条局部控制变体通过全部 18 项任务检查，形成 54,216 条状态—动作—下一状态转换。该案例把视觉对齐、物理任务成功与真实一致性分开度量，使后续参数辨识和训练数据筛选具有明确证据。

English abstract

WorldFoundry turns a recorded demonstration into an executable and traceable simulation experiment. Four camera streams and companion joint feedback are combined with a manufacturer robot model, gripper CAD, and estimated hollow-cup geometry through object, scene, and task harnesses. Recorded feedback is applied on its original clock, while Isaac Sim / PhysX resolves contact and free cup motion at 240 Hz. An independent evaluator checks task execution, support, release stability, and discrepancy from the available real reference. Failures guide explicit revisions of geometry, parameters, or control candidates, each evaluated as a new version. The recorded-motion attempt in the 1 mm effective-wall scene ends with the red cup tipped over; one-to-one physical reproduction is not yet achieved. Three newly generated local control variants in the same scene pass all 18 task gates and yield 54,216 state–action–next-state transitions. The experiment separates visual alignment, physical task validity, and agreement with reality to support subsequent identification and data admission.

真实证据经物体、场景、任务 harness 进入原生物理执行，独立验证后将失败返回诊断修订，将成功记录为可追溯示范。
实线为本案例已执行的数据链与候选修订循环；底部虚线区域列出仍需实测的参数辨识。一次原生执行可渲染多视角，视角数量不增加行为条数。 PDF · SVG · 可编辑源代码

Object / Scene / Task harness

Harness 是组织输入、执行器、验证器与证据的程序框架。本案例由任务专用后端接入这套分层组织；通用 scene 接口目前只处理规范化刚体摆放，双臂叠杯并非任意场景、任意资产的通用策略。

Object harness · 物体

输入：厂家机器人 USD/URDF、原始 v5 夹爪 CAD、图像估计的杯壳参数。

执行：分离视觉和碰撞表达；保留杯子空腔，记录质量、重心、惯量和接触材料；几何修改创建独立资产 ID、父版本与哈希。

输出：可加载物理资产 + 参数来源 + 对应测试证据。

当前范围：1 mm 为图像支持的有效壁厚候选。外形与 18 g 质量保持，内壁/碰撞和一致惯量同时重建；材料未实测标定。

Scene harness · 场景

输入：物理资产、桌面、相机估计、初始杯姿和机器人初值。

执行：组装相机与支撑关系，设置动力学、驱动、初始状态及可复现源场景；将房间背景用于视觉对照。

输出：配置场景 + 初值 + 物理设置与来源闭包。

当前范围：房间上部为首帧照片投射到估计外壳，不能作为新视角几何或相机标定的证明；参与接触的桌面、杯和机器人具有独立几何。

Task harness · 任务

输入：原反馈 q(t) 或独立生成的关节目标，以及明确的叠杯判据。

执行：按 1/240 s 推进 PhysX，记录 q/q̇、杯姿/速度、接触对/冲量与动作；独立 evaluator 重算任务成败并筛选数据。

输出：240 Hz transitions + 20 Hz 状态缓存 + 任务报告 + 多视角呈现。

当前范围：生成分支使用离线 IK、轨迹构造和局部插值；驱动跟踪由物理关节执行，没有已训练策略或在线视觉重规划。

Harness loop · 让失败返回具体修改

每轮固定候选输入，先求解再判定；失败不会通过换相机、删帧或动画补偿变成成功。循环目前由分析脚本与 coding agent 提出修订、再完整执行，尚无自动系统辨识优化器。

  1. 构建候选

    冻结资产/场景、初值、驱动目标、求解设置与源码 SHA。原反馈分支保留真实时钟；生成分支另存 targets。

  2. 原生执行

    PhysX 240 Hz 求解。杯子自由动态，记录中没有杯姿/杯速度覆盖、抓取焊接或脚本物体外力。

  3. 独立验证

    从原生日志重算 18 项任务 gate，并检查连续性、动作重建、实际关节限位、缓存对应及来源哈希。

  4. 定位差异

    同时看四相机同钟对比、腕部跟踪、推定杯姿差异、接触对/穿透时刻和释放后的支撑链。

  5. 修订并复验

    按证据修改碰撞体、杯壳参数或控制轨迹，创建新版本完整复验。例：掌部凸包→凸分解、有效壁厚 1.5→1 mm、松爪净空与时序变体。

  6. 按结果入库

    通过的同场景轨迹进入成功示范索引；失败保留作诊断。每条行为关联自身场景、控制、原生日志与可用图像。

实物参数辨识需新增测量：相机 K/D 与时钟、杯内壁/卷边、开口读数映射、摩擦/质量和 TPU 顺应性，以及原控制 commands。之后用未参与拟合的片段复验真实一致性。

PHYSICAL VALIDATION

每条轨迹，逐项验收

当前任务的 18 项检查直接读取完整原生轨迹。PASS 表示这条轨迹满足本场景协议；真实一致性必须另外比较真实测量，不能由渲染或任务成功推定。

Isaac Sim 6.1 / PhysX；1/240 s 步长；固定底盘、关闭机器人自碰撞；v5 TPU 95A CAD 采用刚性接触。主场景三杯均为 1 mm 有效杯壁、18 g 估计质量；指尖驱动上限 3 N，质量、摩擦和驱动参数未实物标定。

原反馈 · geometry-1mmFAIL · 14 / 18

水平对齐、套入高度、直立和穿透未通过。

生成控制 · thin-alignedPASS · 18 / 18

同场景的 blend15 / blend30 也通过 18 项。

展开全部 18 项阈值与逐项结果
检查项本次判据原反馈生成 aligned
执行1. 执行完成原生 execution_status = PASS；全程有限状态检查另随执行及数据审计保留。 PASS PASS
终态几何2. 杯口不穿桌三杯最低杯口高度 ≥ 桌面 − 1 mm。 PASS PASS
终态几何3. 底杯贴桌绿色杯最低杯口与桌面高度差的绝对值 < 2 mm。 PASS PASS
终态几何4. 套叠水平对齐紫/红杯原点相对绿杯的最大 XY 距离 < 6 mm。 FAIL PASS
终态几何5. 两层套入深度两级杯口高度差均在 (7.955, 13.259) mm。来自当前 1 mm 锥壳碰撞几何：g = w(h−w)/(R−r)，允差 max(2 mm, 0.25g)。 FAIL PASS
终态几何6. 三杯直立三杯中最大杯轴倾角 < 8°。 FAIL PASS
释放与支撑7. 终态脱离手指最后状态没有正冲量的杯—手指接触。 PASS PASS
释放与支撑8. 双腕撤离每个腕原点到每个杯原点的距离 > 150 mm；这是保守代理，并非指尖表面最短距离。 PASS PASS
释放与支撑9. 支撑链成立原生正冲量历史包含绿杯—桌面、紫杯—绿杯、红杯—紫杯；后两对最近接触时刻分别 ≥ 36.70 s、65.05 s。与终态几何联合判定，允许 PhysX 正常休眠。 PASS PASS
末段稳定10. 稳定窗口完整末尾连续 0.5 s 状态记录完整（浮点容差 10⁻⁶ s）。 PASS PASS
末段稳定11. 稳定窗口无手指支撑末 0.5 s 的杯—手指正冲量接触步数 = 0。 PASS PASS
末段稳定12. 位置稳定末 0.5 s 三杯相对窗口起点的最大位移 < 1 mm。 PASS PASS
末段稳定13. 线速度稳定末 0.5 s 三杯最大线速度 < 15 mm/s；读取原生状态。 PASS PASS
末段稳定14. 角速度稳定末 0.5 s 三杯最大角速度 < 0.15 rad/s。 PASS PASS
全过程15. 确实双指提起紫/红杯分别在高于初值 25 mm 时有双指正冲量接触，累计时长各 > 0.1 s。 PASS PASS
全过程16. 关节位置限位240 Hz 实测 q 在实际配置 USD 限位内；转动/平移容差分别 0.005 rad / 0.5 mm。 PASS PASS
全过程17. 关节速度限位240 Hz 实测 |q̇| 不超过 URDF 上限加容差：max(上限的 5%, 0.02 rad/s 或 2 mm/s)。 PASS PASS
全过程18. 接触穿透有界全程最小 solver separation > −1.5 mm，即最大报告穿透 < 1.5 mm。 FAIL PASS

这些是当前叠杯协议阈值，不是跨物体通用精度或实物误差标准。间距来自配置碰撞几何；速度/位置限位采用实际 USD/URDF 的明确规则。正冲量记录来自求解器，并非真机力传感。

既有物体级验证：六项独立检查

旧 1.5 mm 紫杯及其绑定场景执行了上述六项原生 PhysX 检查；绿/红杯以相同物理结构合同作等价核对。它们验证旧资产与对应夹具，不能转移为新 1 mm 变体的六项单体测试通过；新变体本轮的直接证据来自独立完整任务执行与 18 项 gate。

  • 资产结构与空腔
  • 引擎有效惯量
  • 自由落下与静置
  • 受力滑动
  • 重力套叠
  • 最终旧场景 1 s 姿态保持

旧单体协议使用最大穿透 < 3 mm、停稳线速度 < 15 mm/s、角速度 < 0.15 rad/s；重力套叠 XY < 10 mm、倾角 < 10°。它与本次完整任务的 1.5 mm 穿透阈值和 6 mm 对齐阈值分开记录。

旧物体协议与原生结果

通过后，数据怎样进入训练候选？

同一 1 mm 场景中 aligned、blend15、blend30 三条局部控制变体通过全部 18 项检查；higher、highest 两条失败保留。合计 54,216 条 240 Hz transitions、4,521 个 20 Hz 状态缓存。原训练索引中 aligned 有两视角共 3,014 张 RGB，其余两条只有状态/动作。此次补充的展示视频不更改旧训练索引，也不算新增行为；尚未训练策略或验证真机迁移。

WHAT THE EXPERIMENT SHOWS

真实与仿真，差异在哪里？

原动作为何没有等同复现？

当前原反馈候选红杯最终倾角 95.385°，最大套叠 XY 偏移 34.517 mm；18 项中 14 项通过。失败项集中在水平对齐、套入高度、直立和穿透。真实日志是反馈而非原始 command，夹爪开口映射与接触参数还不能唯一确定真实控制和材料响应。

最大差异在接触后被放大

1 mm 候选右腕相对反馈 FK 的全程 RMSE 为 2.489 mm，但红杯仍侧倒。原动作 strict 的红杯相对推定参考 RMSE 在搬运段为 19.87 mm，释放后增至 210.92 mm；有效壁厚调整后对应为 14.40 / 28.25 mm。需要优先解释杯口接触、落座与释放支撑，而不是只拟合自由空间腕轨迹。

几何有效，但不构成单一因果解释

杯壁从 1.5→1 mm 同时改变内壁、碰撞与一致惯量，红杯全程位置 RMSE 从 76.352→11.252 mm；最大穿透却从 2.337→3.442 mm。图像拟合支持继续辨识几何，尚不能证明真实壁厚、摩擦或 TPU 参数已校准。

怎样理解真实轨迹误差？

腕部参考来自原反馈与厂家 FK；杯姿参考来自图像拟合、FK 和支撑假设，不是独立 6D 真值。旧参考把底部绿杯固定，但真实图像中它发生运动。因此杯轨迹 RMSE 是对推定参考的差异，不能直接等同真机定位误差。

完整实验报告 原反馈 1 mm 独立验证 生成 aligned 独立验证 训练数据索引 原反馈时间诊断曲线 Object validation 协议

1 → X / 扩增范围

从这条成功轨迹，扩展四类数据

01 外观变化

颜色、纹理、光照。增加视觉样本，同一物理动作仍计一条轨迹。

02 物理变化

质量、摩擦、接触参数。每组重新运行 PhysX，通过完整任务检查才入库。

03 任务条件

初始摆放、目标位置、套叠顺序。重新生成控制并验证每次抓取和最终套入。

04 失败恢复

检测套偏或滑脱 → 重新抓取 → 对准 → 套入 → 撤手。保留连续失败与纠正过程，最终必须成功；恢复控制器尚未实现。

这四类是扩增计划。当前完成的是成功基准及重跑验证，不能把计划数量算成已有数据。查看执行合同

全长视频来源与本次重跑的关系

本页复用上一条成功运行的全长视频。已逐帧核对本次重跑：1,507 帧的机器人、杯子位姿和时间全部一致，场景内容仅运行路径注释不同。红杯近看入口保留本次新渲染视频。渲染等价检查。实际浏览器点击验收未完成。