RESEARCH / READING NOTES

Paper Reading把方法读到任务里。

围绕物体资产、场景重建、物理验证和机器人策略整理的方法阅读。论文结果与本站实验分别标注。

MY VIEWPOINT我希望仿真真正帮机器人做事↘

01 / READING LIST

先读哪些,为什么读。

精选主来源核对与阅读提纲;未声称完整复现论文。链接指向作者论文或官方项目。

10 篇 · 按建议阅读顺序

主来源核对 · 2026-10-21
01
物体资产arXiv preprint · 2026

ARTISAN

Towards Physically Grounded Articulated 3D Assets: A Multi-Agent Pipeline and Benchmark

将设计、编码和评审拆成多代理流程,再用仿真反馈修正关节运动、碰撞与静置稳定性。评测同时关注外形、物理合理性和下游任务。

为什么读

适合研究“模型生成的资产看起来不错,进引擎后却不能用”这一问题。

资产生成关节结构物理验证
阅读重点与适用边界

阅读重点

  • 生成—仿真反馈—修订的循环
  • 碰撞、静置稳定性与质量属性的评测协议

我的借鉴

把几何、关节、动力学与机器人任务分别设为可执行检查,并保留失败和修订证据。

适用边界

测试通过的范围由给定协议决定;不能据此把每个生成物体的摩擦、质量和惯量都称为实物标定结果。

阅读范围

核对论文摘要、元数据与相关作者项目页;本卡片不是全文逐节精读记录。

02
物体资产arXiv preprint · 2026

AffordCraft

AffordCraft: Scalable Construction of Task-Ready Simulation Assets from Single Images

根据单张图像和任务描述定位目标及操作部件,检索已有资产并进行图像适配,同时保留其部件和关节结构。作者在 2,000 张照片上报告 1,703 个资产通过其物理有效性测试。

为什么读

直接对应逐步积累资产库、按任务检索、再改造现有模型的路线。

资产检索可供性结构保持
阅读重点与适用边界

阅读重点

  • 任务、目标部件与运动类型如何约束检索
  • 构建检查与最终物理评测的区别

我的借鉴

优先复用结构正确的资产;每次尺度或物理参数修改后生成独立版本,再执行验证。

适用边界

物理有效性、语义匹配和机器人任务成功是不同指标;检索结果还受库中资产覆盖范围约束。

阅读范围

核对论文摘要、元数据与相关作者项目页;本卡片不是全文逐节精读记录。

03
真实到仿真arXiv preprint · 2026

LiteReality-Agent

LiteReality-Agent: An Agentic System for Interactable 3D Indoor Scene Reconstruction

从 RGB-D 扫描出发,把场景重建表示为可执行的 Room.py 程序;代理通过观察、测量、编辑和验证逐步恢复可交互室内场景。

为什么读

为真实场景还原提供了比单次生成更完整的工具与反馈组织方式。

真实重建场景程序Agent harness
阅读重点与适用边界

阅读重点

  • 证据采集与观察—编辑—验证流程
  • 布局、碰撞与仿真导出的质量检查

我的借鉴

将可查询的测量证据、场景程序和验证结果保存成同一条可追溯链路。

适用边界

输入是 RGB-D 扫描;不能直接把其能力等同于任意单目录像重建,场景能运行也不等于材料参数已实测。

阅读范围

核对论文摘要、元数据与相关作者项目页;本卡片不是全文逐节精读记录。

04
策略与迁移arXiv 2022 · revised 2023

Code as Policies

Code as Policies: Language Model Programs for Embodied Control

让语言模型生成调用感知与控制 API 的机器人程序,用函数、循环和几何计算表达反应式控制与航点策略,并通过递归生成补全子函数。

为什么读

为“Agent 读取视觉和原始 3D 状态,再编写执行程序”提供直接的方法参考。

Code as Policy程序策略反馈控制
阅读重点与适用边界

阅读重点

  • 语言指令到控制 API 的程序表达
  • 递归函数生成与反馈循环

我的借鉴

为策略代码提供明确的状态查询、控制原语和执行反馈接口,使任务计划能够被运行与检查。

适用边界

程序依赖既有感知与控制 API;生成代码本身不证明接触可靠性、机器人安全性或任务成功。

阅读范围

核对论文摘要、元数据与相关作者项目页;本卡片不是全文逐节精读记录。

05
接触与物理Robotics: Science and Systems · 2022

Factory

Factory: Fast Contact for Robotic Assembly

面向高接触密度装配,提供物理仿真方法、零件模型、装配环境和控制器,并在螺母螺栓任务上训练与评估概念验证策略。

为什么读

适合理解瓶盖、插入与套叠任务为什么需要比外观网格更细致的接触模型。

接触仿真装配机器人控制
阅读重点与适用边界

阅读重点

  • 接触仿真的效率与稳定性
  • 零件模型、装配环境和控制器的配合

我的借鉴

物理资产要围绕真实接触部位设计碰撞几何,并结合积分设置与控制器执行测试。

适用边界

高效仿真和仿真策略实验不能单独证明新任务已完成真实迁移。

阅读范围

核对论文摘要、元数据与相关作者项目页;本卡片不是全文逐节精读记录。

06
接触与物理Robotics: Science and Systems · 2023

IndustReal

IndustReal: Transferring Contact-Rich Assembly Tasks from Simulation to Reality

结合仿真感知的策略更新、有符号距离场奖励和采样课程训练装配策略,再以策略层动作积分器支持真实机器人部署,并提供复现工具。

为什么读

展示接触丰富任务从仿真训练到真实执行需要哪些算法和系统环节。

接触丰富装配Sim2Real策略执行
阅读重点与适用边界

阅读重点

  • 仿真感知更新与几何奖励
  • 动作接口和真实部署误差

我的借鉴

验证资产时,也要一起检查接触误差、控制接口和初始状态分布;用真实任务结果检验迁移。

适用边界

论文验证的是其装配系统与任务;换零件、夹爪或材料后不能沿用原成功结论。

阅读范围

核对论文摘要、元数据与相关作者项目页;本卡片不是全文逐节精读记录。

07
策略与迁移Robotics: Science and Systems · 2024

DrEureka

DrEureka: Language Model Guided Sim-To-Real Transfer

让语言模型辅助设计奖励函数与物理域随机化分布,利用仿真中的策略反馈选择训练配置,并在运动与灵巧操作任务上验证真实迁移。

为什么读

说明 Agent 可以参与的不只是动作规划,还包括训练环境和随机化参数的设计。

语言模型域随机化Sim2Real
阅读重点与适用边界

阅读重点

  • 奖励函数与随机化分布如何共同生成
  • 仿真反馈、消融实验与真实部署

我的借鉴

把参数不确定性转化为有依据的随机化范围,并用独立评测选择训练配置。

适用边界

方法以已有目标任务仿真为前提;域随机化不等于完成了对象材料或接触参数辨识。

阅读范围

核对论文摘要、元数据与相关作者项目页;本卡片不是全文逐节精读记录。

08
真实到仿真ICML 2026 Spotlight

SceneSmith

SceneSmith: Agentic Generation of Simulation-Ready Indoor Scenes

从自然语言分层生成建筑布局、家具和小物体;静态资产生成、关节资产检索和物理属性估计共同构成场景。作者分别报告物体碰撞和仿真稳定性指标。

为什么读

适合把场景搭建拆成明确阶段,并检查密集摆放后的支撑与穿插。

场景生成分层规划稳定性
阅读重点与适用边界

阅读重点

  • 建筑—家具—小物体的分层组织
  • 碰撞率与稳定性如何测量

我的借鉴

场景质量检查需要覆盖物体数量增加后的支撑、间距和动态稳定性。

适用边界

自然语言生成的合理房间不等于特定真实房间的数字孪生;物理属性估计仍需另行校准。

阅读范围

核对论文摘要、元数据与相关作者项目页;本卡片不是全文逐节精读记录。

09
真实到仿真arXiv preprint · 2026

SimFoundry

SimFoundry: Modular and Automated Scene Generation for Policy Learning and Evaluation

由视频构建可仿真的场景,再沿物体、布局和任务三个方向生成保留可供性的变体。作者在 7 个任务、5 种策略架构上比较仿真与真实表现。

为什么读

把真实场景重建和策略训练、评测连接起来,适合思考如何从一个演示扩展到一组实验。

视频重建Digital cousins策略评测
阅读重点与适用边界

阅读重点

  • 数字孪生与场景变体的构建接口
  • 仿真—真实策略排序的一致性评测

我的借鉴

除了展示外观对齐,还应测量重建环境能否预测策略表现,以及变体是否真正提高泛化。

适用边界

论文的相关性结论来自其任务与策略集合;新机器人或新接触任务仍需独立实测。

阅读范围

核对论文摘要、元数据与相关作者项目页;本卡片不是全文逐节精读记录。

10
评测系统arXiv preprint · 2026

RoboDojo

RoboDojo: A Unified Sim-and-Real Benchmark for Comprehensive Evaluation of Generalist Robot Manipulation Policies

提供 42 个仿真任务和 18 个真实任务,覆盖泛化、记忆、精度、长时序和开放词汇等能力;结合 Isaac Sim 并行评测与标准化真实测试接口。

为什么读

适合参考任务、环境、重置流程与结果记录如何组织成一致的评测系统。

仿真评测真实评测多任务
阅读重点与适用边界

阅读重点

  • 能力维度与任务定义
  • 仿真客户端、真实评测与策略服务的职责划分

我的借鉴

把可视化演示、环境资源和带成功判定的任务评测分别保存,复用资源后仍需验证具体任务。

适用边界

下载场景或资产不能视为复现全部基准;任务结果必须绑定对应策略、环境配置和评测协议。

阅读范围

核对论文摘要、元数据与相关作者项目页;本卡片不是全文逐节精读记录。

02 / MY VIEWPOINT

我希望仿真真正帮机器人做事

Making Simulation Useful for Embodied Robots

个人研究观点 / October 2026

我对具身仿真的期待很直接:资产要足够真,机器人要能实际操作,生成的数据要有用。我更看重任务依赖的物理关系能否被保留,以及每个结果有没有可以检查、重复和积累的证据。

English abstract +

I want robot simulation to preserve the physical relationships that a task depends on, with evidence that makes assets worth reusing. My working approach combines retrieval and adaptation of existing assets, explicit physical tests, and separate object, scene, and robot-task harnesses. Code-generated policies can use structured 3D state to produce and diagnose rollouts. The R1 Lite reconstruction illustrates why visual agreement, recorded-motion replay, native dynamics, and real-world task transfer need distinct evaluations.

1. 把“足够真”落到具体任务上

高质量渲染很重要,它让相机看到的外观更接近现实,也方便直接比较真机和仿真。涉及操作时,我还会追问:杯口有没有被碰撞体封住,瓶盖能否沿正确轴运动,夹爪能否接触并抬起物体,质量和摩擦会不会改变动作结果。任务不同,需要保真的细节也不同。套杯依赖空腔、间隙和接触;搬运还依赖抓取稳定性。我会分别检查外观匹配、轨迹重放、动力学行为和实机迁移,让每一项证据回答一个明确的问题。

2. 先积累资产,再决定怎么生成

我希望逐步积累有来源的真实扫描、厂家模型和可交互资产。面对新物体,先 retrieval,再判断能否直接复用、调整尺寸或替换部件,最后补上缺少的几何。AffordCraft 通过检索和拟合已有资产,保留部件与关节结构,这个思路很值得借鉴。[1] 对我而言,资产库还应该保存参数来源、改造记录和测试结果。扫描提供几何证据,厂家模型提供机构信息,质量和摩擦则需要各自的依据。改过尺寸或碰撞体的资产,应重新接受相关测试。

3. 把三个 harness 的验收写清楚

我会把系统拆成物体、场景和机器人任务三个 harness。物体检查尺度、质量、惯量、碰撞空腔,再做落下、受力滑动和套叠等功能测试;场景检查支撑、穿插、可达空间和相机布置;任务记录控制指令、接触、关节状态与成功条件。Artisan 把物理仿真反馈纳入资产生成,并区分空间、物理和下游任务评测,给了我一个有用的参考。[2] 我的要求是阈值先写好,失败记录留下来,修正后复验。这样,下一次复用资产时才能知道它在哪些条件下可用。

4. 让 Code as Policy 读状态、做实验

仿真里的 agent 可以读取视觉,也可以查询物体位姿、关节、包围盒和接触状态。我希望利用这些信息,让它写出可执行的策略、判断失败原因并产生新的 rollout。Code as Policies 展示了用程序组合感知结果和控制 API 的方式。[3] 在我的流程里,这种能力适合先构建可检查的教师策略,再检验数据是否连续、动作是否有效、任务是否完成。训练目标策略时,还要明确它实际能获得哪些观测,避免把仿真中的完整状态访问能力默认为实机能力。

5. 用当前案例确定下一步怎么评

这次 R1 Lite 套杯重建已经把真机录像和重建画面放到同一时间线上,六项检查通过:资产结构、有效惯量、自由落下、受力滑动、重力套叠和场景初始姿态保持。完整套杯视频是实测关节与图像估计杯姿的重放;杯子参数、蓝色夹爪和相机标定仍是估计。[4] 另一个使用 RoboDojo 资产的案例中,Astra 根据三维状态生成技能计划,由控制器在 PhysX 中通过接触完成罐头搬运;那是单独的任务结果。[5]

我接下来更想测的是:改变初始位置、摩擦或夹爪间隙后,成功率如何变化;修正资产后,失败能否稳定消失;仿真里的判断能否预测真机表现。IndustReal 将接触装配策略部署到实机,为这一级验证提供了具体参考。[6] 我希望最后积累下来的是一批带使用条件、失败案例和验证记录的资产,以及能够继续产生有效数据的代码。

IN PRACTICE

R1 Lite: one task, two worlds.

四路真机画面与重建画面对照,物理测试证据单独呈现。

打开交互演示 ↗

参考与实验依据

  1. [1]
    AffordCraft: Scalable Construction of Task-Ready Simulation Assets from Single Images ↗

    Retrieval and image fitting of existing articulated assets while preserving parts and joints.

  2. [2]
    Towards Physically Grounded Articulated 3D Assets: A Multi-Agent Pipeline and Benchmark ↗

    Physical simulation feedback in a multi-agent asset pipeline and separate spatial, physical and downstream-task benchmark dimensions.

  3. [3]
    Code as Policies: Language Model Programs for Embodied Control ↗

    Language-model-generated policy programs process perception outputs and parameterize control primitive APIs.

  4. [4]
    R1 Lite recording reconstruction: native asset checks and measured-motion replay ↗

    Six checks pass, including the one-second scene ready hold. Full cup manipulation is measured-motion replay; geometry, materials and camera parameters remain estimated.

  5. [5]
    R1 Lite / RoboDojo / Astra: contact-driven can transfer

    本站独立实验记录;此处引用已完成的接触搬运结果。

  6. [6]
    IndustReal: Transferring Contact-Rich Assembly Tasks from Simulation to Reality ↗

    Contact-rich assembly policies trained in simulation and demonstrated in a real-world robotic assembly system.