PHYSICAL AI · RESEARCH NOTES · 2026.10.23

从叠杯实验看 Physical AI：
仿真究竟应该对齐什么？

一次套杯实验，把几何、接触、控制、数据与评测的问题放到了同一张桌子上。对 WorldFoundry 而言，更有价值的成果是一套能够反复提出问题、执行实验、保留证据并改进模型的工作方式。

01　把保真度放回具体任务

杯子外形做得很像，并不足以保证能够套进去。真正发生接触时，杯口、内壁、间隙以及软夹爪的形变都会进入计算。对一个摆在背景里的杯子，外观可能已足够；对一个需要被抓起并套入另一个杯子的物体，这些细节会直接影响操作。

这次实验中，在同一套原反馈目标下，将有效杯壁参数从 1.5 毫米改为 1 毫米，同时重建内壁碰撞几何并重算同质量下的惯量，最终杯体的最大水平错位从约 229 毫米减小到 35 毫米。然而，红杯仍然侧倒，求解器报告的最大穿透反而从约 2.34 毫米增至 3.44 毫米。参数调整改善了部分指标，没有让完整任务通过。

这个实验支持继续研究接触几何与物理属性，却还不能单独认定壁厚就是失败根因：几何和惯量一起变化了。我的判断是，资产的“足够准确”应当由任务需要保留的交互关系来定义，并通过行为测试确定，而不是由渲染效果单独决定。

相关工作：DiagGen 将物理响应转成上游资产修复线索；Artisan 将资产生成与独立物理审查结合。它们提供了可借鉴的验证机制，并不意味着已经恢复任意实物的准确参数。

02　任务成功和轨迹一致性，回答两个问题

原真机动作在仿真中失败以后，我也尝试过重新规划搬运、松爪和撤手动作。新的控制能够完成套杯，这说明在当前模型中存在成功解。但用户真正要验证的是：现实中已经发生的那次运动，能否在同一个时间轴上由物理引擎产生出来？这是更严格的目标。

因此，评估应当分别记录机器人跟踪误差、物体运动差异、接触事件和最终任务状态。当前杯姿参考包含图像拟合、运动学与支撑假设，尚不是独立实测的 6D 轨迹；圆杯绕自身轴的旋转也不容易由图像唯一确定。只有先说明能测到什么，误差数字才有意义。

World and Behavior Grounding 分别考察世界对齐与行为对齐，为“仿真应该对齐什么”提供了实验视角。其具体任务上的收益不能直接当作本案例的效果。

03　真实控制接口，是数据与物理之间的连接

最早提供的两份录像 ZIP 记录了机器人反馈，没有记录原始目标命令。把反馈关节位置交给仿真 PD 驱动，可以研究轨迹跟踪，却不等于重放了真机当时的控制输入。后来补充的 MCAP 字段审阅显示，新数据同时包含 motion_target、MotorControl 和反馈，这使下一步研究有了更完整的依据。

三层信息需要分别保存：上层目标表示希望机器人去哪里；低层控制包含位置参考、增益和前馈等信息；反馈描述实际发生了什么。观察到的关节位置不能直接替代策略的动作标签。夹住杯子以后，控制目标和实际开口不同，本身就可能包含接触信息。

有 Kp/Kd 仍需要核对执行语义。用户提供的杯塔审阅中，手臂 v_des 始终为 0.4，这可能涉及限速等模式参数，不能直接当作逐时刻期望速度。夹爪上层开口、执行器位置参考与反馈也使用不同数值范围。要对齐控制器，需要查对应 SDK/固件的模式、单位、零偏、限幅、前馈及延迟，并通过响应对照验证。

04　失败最有价值的部分，是它支持检验什么假设

红杯侧倒，不能直接说明物理引擎有问题。同一种结果可能来自接触模型、机器人跟踪误差、初始位置或控制参数。若一边改变几何，一边修改动作，还同时调整评价阈值，即使最后成功，也很难说明哪个改动有效。

我希望把每次试验写成一个可以复查的实验单：冻结录制与时钟，提出具体假设，记录修改了哪些参数，保留完整执行，再用固定指标比较。模型拟合与验证也应分开：调参使用的那条示范通过之后，还要拿未参与拟合的片段或另一条真实录制检验。

目前的 harness 已经把物体、场景、任务和独立评价分开。失败会保留为新版本的证据，物体运动由原生物理执行记录。这个工作流由分析程序与 coding agent 推进，还不是一个已经完成的自动系统辨识优化器。

05　1 → X 的价值，在于增加有效经验

换杯子颜色可以增加视觉变化；改变摩擦需要重新执行动力学；改变布局和目标需要重新检查任务可行性；失败后重新抓取则需要记录连续的恢复过程。这几种变化贡献不同，不能简单加总成同一种“轨迹数量”。

同一 1 毫米场景的五条生成候选中，三条通过检查，两条失败。把一条成功控制的松爪净空增加 1 厘米并调整时序，就可能重新失败。目前三条成功轨迹仍集中在同一操作模式附近，共有 54,216 条 240 Hz 状态转换；其中一条有两路共 3,014 张 RGB，其余主要是状态与动作记录。这些数字描述的是相关示范的规模，不是广泛任务泛化能力。

下一步应由模型偏差和策略薄弱环节决定扩增方向。数据里需要保留动作目标、低层控制、反馈、相机时间、任务说明、有效性掩码与来源。VLA 格式能够被读取之后，还需要实际训练，并在未见条件与真机上检验它是否有用。当前初版只完成构造消息的数据链测试，尚未训练学生策略或验证真机迁移；失败恢复控制器也尚未实现。

EmbodiedSmith 强调场景与任务共同改进；EmbodiedSWE 从验证过的程序出发扩增轨迹，并研究下游策略训练。它们启发了我们的工作方式，各自的实验结果仍属于原作者。

06　WorldFoundry 应当积累什么

我希望最终沉淀三类可复用能力：有来源与交互验证记录的物理资产；满足机器人能力和操作约束的任务世界；能够比较真实与仿真、定位问题并安排下一轮试验的验证系统。它们分别对应 SimReady Library、WorldSuite 和 RoboEval。

一条轨迹发生偏差时，系统应当帮助我们判断：是需要改进物理模型，还是需要为策略增加新的训练经验？每一次修正都保留输入、参数、代码和结果，形成下一次任务可以继续使用的知识。对于接触密集的 Physical AI，这种可检验、可修正、可积累的能力，是我对仿真数据引擎最重要的期待。