EXPERIMENT RECORD
原始轨迹与原生物理实验报告

# 原始录像到原生物理轨迹：实验与交付报告

更新日期：2026-10-22。物理执行、定量分析、完整视频编码和训练数据索引均已完成；原反馈复现与生成行为的任务结果分别列出。

目前已完成原始时钟上的完整原生物理执行、同参数控制对照和杯壁几何消融。原始反馈驱动的两条主要轨迹均未完成三杯套叠；把杯壁改为 1 mm 明显减小红杯位置偏差，但红杯最终侧倒，不能称为 1:1 物理复现成功。独立生成的 thin-aligned、thin-blend15、thin-blend30 控制轨迹通过 18 项任务检查，属于三条新的仿真示范，不是原录像复刻。thin-higher、thin-highest 两条失败轨迹完整保留。

## 数据和比较口径

本轮输入是**四路原视频及配套原始关节反馈日志**，不是从单目 RGB 独自恢复全部状态或控制，也不是单视频端到端 real2sim。原始录像每路 1507 帧、20 Hz，视频容器时长 75.35 s，采样时间为 0–75.30 s。本轮保留原始时钟，不做速度调整、时间平移、按视角匹配腕部轨迹或失败片段裁剪。原生物理步长为 1/240 s，每条完整执行记录 18,072 条状态—动作—下一状态转换。

原始日志提供关节**反馈**，没有提供实际硬件控制器发出的 command。`q_feedback` 保留 fresh arm / torso / gripper feedback，作为本轮 PhysX drive setpoint；原 `/joint_states` 同时保存在参考包中。将反馈当驱动目标，可以检验这套估计物理模型的行为，但不能由此还原真机原控制器、力矩或接触力。

arm / torso 反馈原值保留；夹爪的 0–100 原反馈使用现有 nominal 映射转换到每指 0–0.05 m，未经独立开口测量标定，不能当作真实指尖位姿。该映射、未知的 TPU 变形和力控行为共同限制了接触复现的可辨识性。转换来源见[参考包 manifest](../../work/real2sim-dynamics/reference/reference.json)。

腕部参考由原始反馈和厂家运动学模型计算，因此腕位置差异是“原生状态相对原反馈 FK 的偏差”。杯姿参考来自图像拟合、反馈 FK、支撑及端点插值假设，是**推定参考**，不是独立实测 6D 真值。杯 origin 位置差异与腕部误差分开报告；圆杯轴向 yaw 未被独立观测，姿态比较优先采用杯轴倾角差异，不能将完整 SO(3) 差异写成实测真机旋转误差。

`analysis.json.status=PASS` 只表示证据结构、来源和计算检查通过。任务成败以 `independent_task_assessment.status` 为主，同时保留 native `task_status`。三杯始终自由动态；渲染读取物理执行缓存，不在渲染器中重新求解动力学。渲染动画仅用于呈现已记录状态。

## 已完成实验

下表的杯位置 RMSE 均相对推定视觉参考，单位 mm。生成控制行表示偏离原示范的程度，不是生成控制本身的跟踪误差；真正的跟踪误差另见各分析报告 `comparisons.actual_drive_tracking`。最后一列是**仿真内部**红杯/紫杯相对绿色杯的最大水平原点偏移，不是相对真实杯位置的误差。

| 运行 | 控制/用途 | 独立任务 | 左/右腕 RMSE | 紫/绿/红杯 origin RMSE | 最终最大套叠 XY 偏移 |
|---|---|---:|---:|---:|---:|
| baseline-01 | 原反馈，早期诊断 | FAIL | 1.861 / 3.574 | 14.517 / 12.004 / 20.489 | 57.045 |
| reference-strict-01 | 原反馈，与旧 generated 严格匹配物理设置 | FAIL | 1.861 / 2.913 | 9.543 / 4.129 / 76.352 | 229.184 |
| geometry-1mm-01 | 原反馈，1 mm 杯壁及一致内壁/惯量 | FAIL | 1.861 / 2.489 | 9.502 / 3.526 / 11.252 | 34.517 |
| expansion-aligned-01 | 生成控制，旧杯壁设置 | PASS | 42.758 / 69.351 | 22.168 / 6.946 / 16.725 | 0.207 |
| expansion-thin-aligned-01 | 生成控制，1 mm 杯壁 | PASS | 42.758 / 69.351 | 22.271 / 6.625 / 16.914 | 0.069 |
| expansion-thin-higher-01 | 生成控制，松爪净空 +10 mm、时序 +0.15 s | FAIL | 43.973 / 70.771 | 22.389 / 6.724 / 23.568 | 1.674 |
| expansion-thin-highest-01 | 生成控制，松爪净空 +20 mm、时序 −0.15 s | FAIL | 46.054 / 72.925 | 31.400 / 1.923 / 20.310 | 31.554 |
| expansion-thin-blend15-01 | 生成控制，aligned 向 higher 混合 15% | PASS | 42.935 / 69.564 | 22.125 / 6.101 / 16.898 | 0.124 |
| expansion-thin-blend30-01 | 生成控制，aligned 向 higher 混合 30% | PASS | 43.113 / 69.778 | 22.063 / 5.953 / 16.938 | 0.040 |

数值来源：[strict 分析](reference-strict-01/analysis.json)、[1 mm 消融分析](geometry-1mm-01/analysis.json)、[thin-aligned 分析](expansion-thin-aligned-01/analysis.json)、[thin-higher 分析](expansion-thin-higher-01/analysis.json)。每份分析均绑定 result、motion cache、transition、配置场景、参考包及 evaluator 源码 SHA。

原反馈下，1 mm 杯壁将仿真内部最终最大套叠 XY 偏移从 229.184 mm 降到 34.517 mm，红杯全程 origin RMSE 从 76.352 mm 降到 11.252 mm。该变体由 1.5→1 mm 壁厚参数驱动，重建内壁/碰撞几何，并在相同 18 g 质量下重算一致惯量，**不是冻结惯量、只改接触面的单独因果实验**。腕部偏差的量级相近，杯子接触结果却明显改变，支持继续辨识杯壳几何及其一致物理属性。它仍未通过套叠位置、高度、直立和穿透检查：红杯最终倾角 95.385°，最大报告穿透从 strict 的 2.337 mm **增至** 3.442 mm。这不是所有指标一致改善；不能用较小的位置误差代替任务成功或整体复现质量提高。

差异集中在**末段套叠和松爪**，不是只看两腕是否沿原轨迹运动。strict 的红杯相对推定参考 RMSE 在 57.25–65.50 s 为 19.87 mm，到 65.55–75.30 s 增至 210.92 mm；1 mm 消融对应为 14.40 mm 和 28.25 mm。此时后者右腕的分阶段 RMSE 仅约 3.92 / 3.96 mm，杯子仍侧倒。末段接触、落座、松爪后的支撑链应作为主要诊断对象。杯壳几何、真实 TPU 顺应性、摩擦与驱动参数、原控制命令缺失均是待辨识因素；现有实验不能将不吻合归因于物理引擎本身的缺陷。

接触记录进一步定位了差异：旧掌部 `convexHull` 在 65.704 s 的紫杯↔右掌部接触达到 5.786 mm 最深穿透；改成 `convexDecomposition` 后，该掌部接触对消失，但原动作仍 FAIL。[掌部凸包探针](../../work/real2sim-dynamics/diagnosis/gripper-body-hull-probe.json)发现凸包确实填充了原网格外区域，同时最坏时刻也有原三角网格区域交叠迹象，不能把全部问题归咎于碰撞代理。1 mm 原反馈运行的最深点改为 64.675 s 的紫杯↔红杯，3.442 mm；成功 thin-aligned 全程最深为 0.086 mm。[baseline 接触分析](baseline-01/analysis.json)、[掌部分解分析](palm-decomposition-01/analysis.json)、[1 mm 分析](geometry-1mm-01/analysis.json)、[thin-aligned 分析](expansion-thin-aligned-01/analysis.json)保留对应 actors、时间、接触冲量与分离距离。这些是求解器报告，不是真机力传感测量。

## 几何证据和参考局限

[末帧双目几何诊断](../../work/real2sim-dynamics/diagnosis/geometry-fit-report.md)先用真实绿色边界定位底杯，再固定该定位拟合两层间距，得到 12.281 / 7.772 mm；原共同 1.5 mm 壁厚模型给出两层均 16.110 mm。紫/红边界垂直残差 RMS 从 10.284 px 降到 1.970 px。共同间距拟合为 10.573 mm，对应理想锥壳等效壁厚 0.984 mm，因此选择 1 mm 独立消融。它是有图像依据的参数候选，不能称实测壁厚；两层不同也说明共同壁厚不能解释所有几何和接触差异。

这里的 16.110 mm 是图像诊断采用 `height × wall / taper` 的理想名义间距。实际碰撞体侧壁使用 `height − wall`，独立任务 gate 按其实际侧壁计算：旧 1.5 mm 杯为 15.811 mm，新 1 mm 杯为 10.607 mm。名义图像诊断值与碰撞体 gate 值定义不同，不应混用。

同一诊断发现绿色杯真实下边界在左右目都上移约 10 px，横向框起点分别移动 +6 / +10 px。旧 object-replay 却把绿色杯 XY 全程固定。因此图中的“绿色杯相对推定参考偏差”不能直接解释为真实仿真误差；推定参考本身包含错误的静止假设。末帧绿色双目定位从旧值约 (472.543, −28.382) mm 移到 (481.876, −32.834) mm，也是相机/支撑假设下的图像估计，不是额外获得的实测三维真值。

thin-aligned 的 18 项独立检查全部通过，最终紫/绿/红杯倾角分别为 0.062° / 0.00005° / 0.034°，两级杯口高度差为 11.842 / 11.602 mm。最大报告穿透为 0.086 mm。它证明目前这套刚性估计模型中存在可执行的新控制轨迹；尚不能据此证明真实 TPU、摩擦、驱动及惯量已经校准，也不能证明真机迁移成功。

thin-higher 保留为失败样本：红杯最终倾角 36.047°，第二级高度差 65.425 mm；套叠高度、直立及穿透 gate 失败。thin-highest 同样失败，紫杯最终倾角 95.379°、红杯 30.752°，支撑链也未通过。改变轨迹参数并不自动得到有效训练示范，生成后仍需原生执行和独立筛选。

## 完整时间诊断和媒体安排

[原反馈严格对照与 1 mm 消融曲线](diagnostics/original-feedback-comparison/motion-differences.png)展示全部 1507 个时刻、两腕位置差异、三杯 origin 差异和分阶段 RMSE。紫/红色底纹是原生手指接触首末时刻的包络，包络内可以有接触间断，不能解读为全程连续夹持。可编辑版本：[SVG](diagnostics/original-feedback-comparison/motion-differences.svg)，数值表：[CSV](diagnostics/original-feedback-comparison/phase-rmse.csv)，来源校验：[plot-report.json](diagnostics/original-feedback-comparison/plot-report.json)。

完整对照使用 `geometry-1mm-01`，保留 REAL、native head view 和机器人全身视角，持续显示失败状态。生成行为使用 `expansion-thin-aligned-01` 的 native head 近景与全身视角，标明 generated controls。`reference-strict-01` 保留[五个时刻的失败对照拼图](reference-media/strict-keyframes.png)和定量表；拼图来自同一严格运行的真实/原生相机/全身截图，绑定见[拼图来源报告](reference-media/strict-keyframes-report.json)，没有重复编码另一部长视频。

[原录像与原生物理三栏对照](geometry-media/real-vs-native.mp4)为 2560×1080，[独立机器人全身视频](geometry-media/robot-overview.mp4)为 1280×720；两者均为 20 Hz、1507 帧、75.35 s，全部帧解码通过。REAL 与 native 使用同一固定工作区裁剪，依据三杯全时段检测框并集加各轴 35% 边距确定，原图像坐标为 [563,678,1471,1404]；完整原录像和原生 PNG 保留。来源、原始/裁剪尺寸、逐帧映射及视频 SHA 见[媒体报告](geometry-media/comparison-report.json)。媒体 PASS 不改变原生任务 FAIL。

[生成行为双视视频](expansion-media/robot-overview.mp4)为 2560×1080、20 Hz、1507 帧、75.35 s，全部帧解码通过，独立任务与 native task 均为 PASS。它没有 REAL 面板，杯局部近景使用相同固定相机参数及固定工作区裁剪，没有按轨迹逐帧追踪。近景显示最终三杯套叠，全身视角显示双臂松爪撤离；[生成媒体报告](expansion-media/comparison-report.json)记录逐帧来源和视频 SHA。

## 从一条示范到多条物理轨迹

当前“1→X”是以同一原始示范为约束源，改变可执行控制轨迹，逐条原生求解并保留成功与失败。同一 1 mm 场景下有 aligned、blend15、blend30 **三条成功轨迹**，higher、highest 两条失败轨迹，共五条生成候选。不能把全部候选写成成功示范，也不能把同一轨迹的多视图或验证重放计作新的行为。旧 1.5 mm 场景的 expansion-aligned-01 单列为历史实验，不计入这组三条成功示范。

动作差异另行量化：以下基于 20 Hz 的 1507 个采样点、双臂共 12 个转动关节，表中为合并 RMSE / 最大绝对值，单位度；不含夹爪平移关节。目标对原反馈的差异表示主动改变了动作，状态对自身目标的差异才表示驱动跟踪误差。

| 控制候选 | 目标相对原反馈 | 原生状态相对自身驱动目标 | 目标相对 thin-aligned |
|---|---:|---:|---:|
| aligned | 10.760 / 110.911 | 0.248 / 3.269 | 0 / 0 |
| higher | 11.072 / 114.982 | 0.250 / 3.269 | 0.390 / 4.194 |
| highest | 11.529 / 119.656 | 0.251 / 3.269 | 0.945 / 9.010 |
| blend15 | 10.807 / 111.522 | 0.248 / 3.269 | 0.058 / 0.629 |
| blend30 | 10.853 / 112.133 | 0.248 / 3.269 | 0.117 / 1.258 |

成功变体目前来自同一操作模式附近的窄范围插值，不能据此宣称广泛任务多样性或泛化能力。数值来自各运行 `analysis.npz` 的 `q_actual_drive_target`、`q_feedback_reference` 和 `q_drive_tracking_error`。

higher / highest 的搬运高度均保持 0.125 m；改变的是相对 aligned 的松爪净空 +10 / +20 mm，以及松爪时序 +0.15 / −0.15 s。这是净空与时序同时变化的控制候选，不是单因子“抬升高度”消融。blend15 / blend30 是 aligned 向 higher 的目标轨迹插值，变化范围见上表。

每条候选应单独绑定初值、场景物理参数、控制源、240 Hz transitions、20 Hz 缓存及图像。图像与动作的对应由 `dataset_index.py` 检查：第 k 帧位于第 12k 次积分之后，前置 transition 为 12k−1，下一动作是 12k；首帧没有前置 transition，末帧没有下一动作。新增训练索引不代表已经训练学生策略。

[训练索引](training-index.json)已通过准入、日志连续性、原生缓存对应、来源 SHA 和 RGB 校验，收录三条成功生成轨迹，共 **54,216 条 240 Hz transitions、4,521 个 20 Hz 缓存状态**。aligned 的 head / overview 两视角共有 **3,014 张 RGB**；blend15、blend30 只有状态/动作日志与缓存，没有渲染图像。两个视角不会增加行为条数。另保留 geometry 原反馈、higher、highest 三条诊断记录，失败不进入成功 episode 集。

三份不同的 generated target 档案共同派生自一份真实录制参考。它们是可用于后续处理的相关合成示范，未训练学生策略、未验证训练效果或策略泛化，也未在真实机器人上执行生成动作。

## 交付核验范围

四组完整原生视图各有 1507 帧，另有两组各五帧 strict 预览；三个 75.35 s 视频均完整解码。媒体在编码前校验源报告、原生 PNG 和来源闭包，编码后再次校验来源及视频 SHA；渲染动画和视频只呈现记录的动力学状态，没有补帧或剔除物理失败。

`geometry-1mm-01` 与三条 thin 成功轨迹保留相同源场景及声明物理参数，控制档案独立；环境来源、实际杯几何和每条轨迹参数在训练索引中逐项保留。原始数据、旧三代录像重建、早期物理 demo 及本轮失败运行均保留，成功记录不回写历史失败。

当前适用范围是固定底盘、自碰撞关闭、v5 CAD 刚性夹爪、估计材料及估计驱动参数的单场景实验。原轨迹失败验证了当前建模与控制估计还不足以复现这次真实操作；它不证明 Isaac Sim 原则上不能复现，也不能确证唯一、占主导的物理参数原因。壁厚参数化变体提供接触几何及一致物理属性重要的证据，其余因素仍需独立测量与辨识。原反馈复现、几何消融和生成控制分别回答不同问题，生成任务成功不能替代原轨迹 1:1 复现成功。

## 下一步建议（本轮尚未执行）

先独立标定相机与时钟，测量杯内壁/卷边尺寸、质量及夹爪开口读数映射；再用抓取、滑动和落座片段辨识摩擦、顺应性及驱动参数，若能取得真实 commands，应与反馈联合使用。用未参与拟合的片段或另一次真实示范验证，避免只匹配当前录像。后续 1→X 数据继续保留失败并按独立物理 gate 筛选成功示范。