企业官网建设流程全解析

Masked Visual Actions for Unified World Modeling

论文：Masked Visual Actions for Unified World Modeling

机构：斯坦福大学

链接：https://masked-visual-actions.github.io

1. 介绍

核心问题与痛点

• 机器人交互的本质：技能行为需要同时具备前向（执行动作预测状态）和逆向（由目标状态反推动作）推理能力。理想的世界模型应该在一个框架内同时支持这两种推理。
• 现有视频模型的局限性：虽然视频模型从海量数据中学到了丰富的物体运动、接触、形变等物理先验，但它们大多只是被动的观察者，无法作为干预工具（即控制器）。
• 现存方法的不足：为了让视频模型“能动起来”，现有方法通常使用文本、轨迹、力、关键点、电机指令作为条件。但这些信号往往是稀疏的、特定于机器人本体的、或者与视频模型预训练时的视觉经验不匹配的。这导致模型无法直接复用其强大的视觉先验。

核心方案：掩码视觉动作

核心思路：提出掩码视觉动作，直接把机器人的运动当成像素空间中被部分揭示的时空轨迹（掩码视频）输入给预训练的大视频模型。

这种方式像素对齐（Pixel-aligned）、与机器人本体无关（Embodiment-agnostic），非常适合大模型理解，且只需极少的微调（15小时数据）即可高效适配。

• 提供“机械臂的运动掩码”时，模型就自动变成了正向建模（告诉背景会怎么变）。
• 当提供“物体的运动掩码”时，模型就自动变成了逆向建模（推导出机械臂需要怎么动）。

论文核心贡献

1. 接口创新：提出了像素空间的控制接口（Masked Visual Actions），并给出了极高效的微调方法（仅15个小时的真实视频和模拟的掩蔽样本进行微调）。

2. 理论统一：证明了可以将前向和逆向问题转化为同一个视频模型的互补条件预测问题。

3. 工程验证：在真实世界和仿真中完成了机器人操作任务的三种实际应用（评估、规划、逆向）

将现有研究方法按照“控制信号的形式”进行了清晰的分类对比

A：可控视频生成作为机器人接口 (Controllable video generation as a robotic interface)

• 现有做法：在视频模型中加入控制信号，使其变成能够预测物理效果的模拟器。常用的控制信号包括：物理力、光流、手势、轨迹点、目标图像。
• 缺点：这些信号都不是密集的（sparse）、没有与像素对齐（not pixel-aligned），并且无法在不同的机器人本体（embodiment）之间通用

B：以像素为基础的动作条件生成 (Pixel-grounded action conditioning)

• 现有做法：很多工作（如 BridgeV2W, Action Images, ORV 等）通过渲染 URDF、生成高斯热力图、预测掩码等方式，把动作转换到了像素空间
• 缺点：只在训练时揭示机器人运动，只能做“前向（forward）”预测（即机器人动，场景变）。

C：统一视频-动作模型 (Unified video-action models)

• 现有做法：像 UVA, UWM, Cosmos, Genie 等大模型，在一个模型中统一前向动力学、逆向动力学和策略。

• 缺点：

  • 通常是模态掩码（Modality masking）——即在动作向量（低维坐标）和视频帧这两个不同维度的数据通道之间进行掩码切换。

  • 这种在“特征向量”上的掩码，无法实现跨本体的迁移，因为动作向量天生是特定于某个机器人的。

2. 方法

2.1 数据集构建

视频模型的输入和输出格式

1. Reference frame (参考帧)：任务刚开始的静态背景图。
2. Masked visual actions (掩码动作)：这是一个序列帧。画面中除了机器人移动的那一块区域外，全部都被涂白（或隐去）。模型看到的是一个“带着运动残影的纯白背景”。
3. Target video (目标视频)：真实的、完整的发展过程视频（Ground Truth）

训练目标：模型接收“参考帧”和“掩码动作”，然后必须“脑补”出完整的“目标视频”（即预测出物理世界对这一动作的反馈

• 真实世界视频 (Real-world videos)：来自DROID数据集。特点是场景极其丰富（厨房、桌子等），包含真实的物理接触。作者强调同时使用了“成功”和“失败”的轨迹，这对于训练世界模型至关重要（模型不仅要看到正确的动作，还得学会“如果动作不当会有什么后果”，这对逆向推导和规划非常关键）。
• 仿真数据 (Simulation data)：来自Robocasa。特点是精准，完全可控。

方法1：基于分割的数据集

做法：利用分割模型SegmentAnything (SAM)，输入提示词"A robotic arm"（一个机械臂），让AI自动从DROID的真实视频中抠出机械臂的区域。无需相机标定，甚至不需要知道视频里是哪款机器人

缺点：

• 推理时不好用：在测试时为用户提供一个精确的实体分割掩模是一个挑战

• 信息泄露：机器人中的任何遮挡区域都将隐含地泄漏来自原始视频的关于场景动态的信息

方法2：基于渲染的数据集

• 做法：利用 DROID 提供的机器人状态（Joint States）和相机标定参数（Camera extrinsics），对齐机器人 URDF 与输入轨迹，将机器人精准渲染到视频画面中。在 Robocasa 仿真环境中，仅渲染机器人本身（排除场景中其他物体）以生成掩码条件输入
• 仿真环境下的优化：
  • 半透明渲染（Translucent rendering）：为了让模型看到完整的机器人而不自遮挡，半透明渲染机器
  • 把夹爪染红（Gripper fingers set to bright red）：将抓取器手指设置为亮红色，以便视频模型可以轻松观察动作

2.3 核心应用

正向预测：给定初始帧，策略生成动作之后通过3d mesh渲染成masked visual actions，再利用视频模型生成视频，可以用来进行规划和评估
逆向预测：给定初始帧和目标物体的运动轨迹，可以反推出机械臂的运动轨迹。

实际推理场景不需要依赖外部的 SAM，而是采用渲染的方法，利用已知的机器人模型和相机参数，在极短时间内通过“物理渲染（Rendering）”直接生成完美且连续的动作掩码，保证了实时性和物理一致性。

VLM的评估标准

1. 明确要求 VLM 必须能识别并扣分（Penalize）以下三种世界模型的作弊/幻觉现象：

   • Ghost/weak contact：机械臂末端靠近但是没有接触到物体。

   • Post-disengagement coasting：若抓取器发生脱离（回缩、停止或移开），而物体随后仍自行向目标方向移动。这是不合理的

   • Frame-jump glitches（帧跳跃故障）：画面突然跳帧，比如前一刻物体在桌面上，下一帧突然出现在目标位置。这是视频模型常见的“偷懒”做法。

2. 为了强迫 VLM 遵照严格的逻辑打分，作者设计了必须按顺序输出的JSON 结构：

   • robot_caused_outcome（是否由机器人导致）：表示因果关系，细化到 机器人推、机器人抓、物体瞬移、物体消失、物体自行移动、夹爪穿模物体、没尝试 、其他。

   • task_success（任务是否成功）：布尔值，附带置信度。“成功 = 终极目标达成 + 物理因果成立 + 接触期间达成”。即便最后一帧物体到达了终点，但如果发现是transported（瞬移）、autonomous（自主动）或者post-disengagement（脱手滑行），success立刻被强制判定为FALSE。

   • end-effector_contact（末端是否接触目标物体）：布尔值，必须“可见的物理接触”。

   • physics_realism（物理真实性）：1~5 分的主观打分。明确要求惩罚：瞬移（Teleporting）、形变（Morphing）、穿模（Passing through solids）、消失/复制物体（Vanishing/duplicating）、帧跳动

3. 如何从 N 个视频中选出“最好的一个”

   用复合键κ = (1[success], realism, confidence, 1[contact], -r)，按优先级从高到低依次比较：

   • 首先（最重要）：看success（任务是否成功）。优先选择标有“成功”标志的 rollout

   • 其次：看realism（物理真实性得分）。优先选择物理真实性较高的

   • 第三：看confidence（置信度）。优先选择置信度较高的

   • 第四：看contact（是否接触了目标）。有接触的比没接触的优先（保证了动作的真实介入）。

   • 第五（保底）：看-r（即 rollouts 的负索引）。如果以上都一样，选随机采样的更靠后的那一条（打破平局，避免重复陷入某种特定失败模式）。

IDM模型架构与训练：

• 基于Transformer架构。
• 使用AdamW 优化器训练300 个 Epoch。
• 动作空间：RoboCasa 的原生 12-D 动作空间（与场景一相同）

2.2 数据和模型训练

数据：仅15个小时的真实的视频和模拟的掩蔽样本进行微调。使用了大约1,000个带有两个外部摄像头的DROID演示，并使用基于分割和基于渲染的管道来处理每个演示，同时保留了DROID的失败案例，此外还包括Robocasa的4,000个示例

机器人数据采集：使用Franka Panda，配了一个定制的 3D 打印柔性夹爪，相机包括腕部相机和第三人称相机

基座视频模型（Base Model）：Wan-Fun-Control 2.2 14B

机器人策略：扩散模型

条件注入方式（Concatenation）：因为掩码动作和预测目标在空间上是逐像素对齐的，所以不需要复杂的 Cross-Attention（交叉注意力）机制。直接把掩码视频拼接到输入上即可（Concatenation）

缺失部分处理：对于在掩码中被“挖空”的区域（空白处），统一填上灰色背景

训练：采用了 LoRA（秩为 256），批量大小为4，使用8个NVIDIA H200 GPU，在4天内训练模型约10000步。

3. Masked Visual Actions

作者把一个场景视作一组实体 e1,e2,…,en的集合。因为视频本质上就是在展示这些实体的时空轨迹（Spatiotemporal trajectory），所以视频的分布 p(V)完全等价于所有实体轨迹的联合分布：

通过一个统一的掩码（Masking）操作，实现了“同一个模型回答不同问题”的目标。如果我们把场景中的一部分实体（集合 SS）作为揭示给模型的条件，那么模型的目标就是预测其余实体的轨迹。 其中I₀是初始参考帧是初始参考帧

前向模型：设置S = A，我们以主动实体为条件，预测被动实体

逆向模型：设定S = P，我们以被动实体为条件，预测主动实体

4. 实验和结果

测试目标：

1. 验证掩码视觉动作作为世界模型控制信号的有效性
2. 验证核心优势：重点突出对训练中未见过的机器人本体（Unseen embodiments）的泛化能力。
3. 验证应用价值：证明该模型能真正用于规划（Planning）、策略评估（Policy evaluation），以及逆向策略（Inverse modeling）本身。

3.1 基于条件的视频生成

本文的“掩码视觉动作”与基线方法，评估不同控制信号对视频生成的影响。

基线方法如下：

• 纯图像生成：只给模型一张初始场景的静态图片，无动作信号，依赖纯视觉先验猜测

• Wan-move：额外提供稀疏的像素轨迹线，但是物理载体的几何和接触信息，需脑补实体

• Ctrl-world：额外提供末端执行器状态，但严重过拟合于特定机器人本体，无法跨本体泛化

• 掩码视觉动作：提供实体的密集像素掩码，直接将“动作”融入了视频模型的本体语言（像素）中，让模型直接理解“物理对象在时空中的交互”

1. 结果对比

在已见机器人（DROID）上，本文与Ctrl-world表现相当；但在面对未见过的双臂本体（BEHAVIOR）时，基线方法彻底崩溃（画面扭曲或静态），而本文方法能完美泛化。

2. 为什么稀疏信号会失效

稀疏信号（如骨架、末端坐标）缺乏物理形态信息，容易引发模型**“幻觉”（强行扭曲新机器人去匹配训练见过的形态）。而本文的密集像素掩码**直接包含完整物理外观，模型只需专注“像素交互”，因此能优雅地跨越不同机器人本体。

3.2 机器人应用

1. 规划

   核心策略：先想象，后执行

   面对同一个任务，模型让基础策略（Diffusion Policy）随机生成10条不同的候选动作轨迹，然后利用本文的世界模型将这些动作在"脑海中"模拟成视频，最后引入大语言模型Gemini 3.1 Pro作为裁判，从这10个想象视频中挑出物理最合理、成功率最高的最佳动作去真实执行。
   

2. 策略评估

   在仿真（RoboCasa）和真实世界中分别跑一个策略（Diffusion Policy），然后对比在真实世界里的成功率和在视频模型‘想象’出来的视频里的成功率。
   

结果表明模型生成的视频和真实世界的物理结果高度线性相关。同时，模型在“想象”时，往往会产生乐观偏差（Positive bias）—脑补出的成功率会比实际真实场景略高一点点。

意味着可以用视频模型替代昂贵的真实物理试错，在虚拟空间中低成本且精准地评估策略的优劣

3. 动作提取

可以利用Masked Visual Actions来制定一个逆建模问题，而不是为模型提供机器人动作来执行：给定期望的对象运动，促使视频模型合成一个机器人实现该结果的视频。动作提取可以转换为逆动力学问题：给定合成的机器人视频，使用学习的逆动力学模型生成可执行的低级动作序列。

实验方法和结果：

• 基线方法（DP, ACT, SmolVLA）：为了让它们能完成任务，作者给了它们100个该抓取任务的真实演示数据去训练

• 本文方法（Ours）：零样本（Zero-shot），视频模型本身从未看过这个“抓取咖啡杯”的具体任务。完全靠“常识”生成视频，再生成动作。
  

5. 总结

本文核心贡献在于：

• 通过将动作对齐到像素空间，仅用少量数据微调，即可让预训练视频模型同时具备前向建模与逆向建模的统一世界建模能力
• 可以很好地泛化到未见过的实体

局限：与现有的生成模型类似，我们的模型学习对象交互之间的相关性，而不是因果关系。并且性能受限于基础视频模型能力。进行动作规划时涉及多轨迹生成和VLM 打分评估，延迟高，不适合高频闭环控制，它更适合用作“离线的策略评估器”或“数据生成器”，而非“实时控制器”。