世界模型不再“盲搜”：INTACT 让机器人从意图直接生成动作

世界模型可以生成逼真的合成数据和预测的世界状态，助力机器人发展空间智能。它擅长回答这样的问题：“如果机器人执行某个动作，接下来会发生什么？”

但是在部署时，主流的世界模型仍然在**“盲搜”：借助 CEM 或 MPPI，大量采样候选动作序列，通过逐条预测和筛选得到想要的动作**。反复采样和评估大量候选动作序列的过程中，模型沦为了“候选动作的裁判”，同时，搜索带来延迟，模型中的动作信息也无法直接读取，哪怕是训练数据中原本就已经包含了反向控制所需的监督信号。

LeWM 的典型设置就是一个例子：CEM 在一次规划中最多评估 300×30，即 9000 条候选序列。它带来了显著的延迟。另外，世界模型虽然在训练中学习了动作如何改变状态，但这些信息在部署时无法被直接用作动作生成接口，使前向预测与目标导向控制之间仍存在明显缺口。

INTACT：95.33% 平均成功率，1/300 耗时

INTACT 的核心思路是：直接利用离线轨迹中已经存在的状态、动作与未来结果，把潜在运动意图组织成可以被动作模型读取的语义接口。

通过这种方法，单任务 INTACT 仅训练一个 epoch，零候选动作搜索便取得 95.33% 的平均成功率；使用 384 条候选进行局部验证后进一步达到 96.86%。Direct 模式的规划侧推理耗时为 2.9–5.5 毫秒，而传统 CEM 300×30 约为 1.48 秒，规划侧延时降至传统模型的 1/300。

01 从“预测动作后果”到“直接生成动作”

INTACT 重新设计了世界模型与动作控制之间的接口。

传统世界模型主要学习这样的关系：

简单来说，就是根据机器人当前所处的状态和准备执行的动作，预测接下来会发生什么。

它擅长回答：“执行这个动作以后，世界会变成什么样？”

但在真正控制机器人时，我们更需要知道：“为了到达目标，现在应该执行什么动作？”

传统方法通常没有直接学习这个过程。因此，CEM 或 MPPI 需要先随机生成大量候选动作，再让世界模型逐一预测这些动作会带来怎样的结果，最后筛选出最接近目标的一组。而 INTACT 保留了世界模型预测未来的能力，同时增加了一个可以直接生成动作的接口，它会根据机器人当前状态与目标状态之间的差异，理解“接下来希望实现怎样的变化”，再直接给出一组具有明确目标方向的动作计划。

换言之，INTACT 让“盲搜动作”变成“模型生成动作”：模型先给出方向，世界模型再负责预测、验证与修正。

02 动作的答案，已经藏在轨迹里

设想这样一种情况：机械臂位于物体左侧，随后执行了一次向右推动，物体也随之向右移动。对传统世界模型来说，这段数据可以用来学习：“执行这个动作以后，接下来会发生什么？”

而 INTACT 进一步从中提取出一个反向问题：“如果希望产生这样的运动变化，机器人此刻应该执行什么动作？”机械臂推动前后的两个相邻状态，记录了一次真实相邻状态之间的变化，称为局部意图：

局部意图来自真实发生过的动作和结果，因此能够告诉模型：哪些动作在当前状态下确实可以带来相应的物理变化。与此同时，同一条轨迹中更远处的未来状态，也可以作为机器人希望到达的目标。当前状态与未来目标之间的差异，被称为目标意图：

目标意图描述了：机器人现在处于哪里，又希望最终到达哪里。

因此，同一段轨迹同时提供了两类信息：**局部意图告诉模型，一个动作真实造成了什么变化；目标意图则告诉模型，面对未来目标，此刻应该怎样行动。**INTACT 将这些原本沉淀在训练轨迹中的动作经验，转化为部署时可以直接使用的动作生成能力，让模型无需每次从大量随机动作中重新寻找方向。

03 两种意图，交给同一个 Predictor

局部意图和目标意图描述的是两种不同的变化。仍以推动物体为例：局部意图描述的是“物体刚刚向右移动了一小段”，它来自一次真实发生的动作；目标意图描述的则是“物体最终需要到达右侧的目标位置”，它可能对应一段更长、也更复杂的运动过程。

因此，INTACT 不会把最终目标直接当作机器人的下一状态，也不会强迫这两种意图在潜在空间中变得完全相同。但在某一个具体时刻，它们可能指向相似的动作。比如物体当前位于目标左侧，无论是为了让它先向右移动一小步，还是为了最终将它推到右侧目标区域，机械臂此刻都可能需要先向右推动。

INTACT 的关键设计，就是让局部意图和目标意图使用相同的输入方式，交给同一个 INTACT Predictor 来理解。

在这里，真实轨迹中记录的动作就像一座桥梁：它让模型逐渐学会，哪些真实的局部变化与哪些面向未来的目标，在当前状态下需要相容的控制方式。

04 从目标意图，到可执行的动作计划

训练完成后，INTACT 不再从随机动作开始寻找方向。系统首先将机器人当前看到的画面和目标画面编码到同一个潜在空间，得到当前状态与目标状态。二者之间的差异，构成此刻的目标意图：

INTACT Predictor 根据当前状态和目标意图，直接生成下一段动作。随后，原有的 Forward Predictor 会预测：执行这段动作后，机器人可能到达怎样的新状态。在预测的新状态下，系统再次计算它与目标之间的差异，并继续生成下一段动作。如此循环，便形成一条朝向目标的完整动作计划：

这意味着，INTACT Predictor 与 Forward Predictor 承担了不同角色：前者根据目标提出动作，后者负责预测这些动作会把世界带向哪里。两者交替运行，使模型能够在潜在空间中逐步构建一条连贯的行动路径。

在 Direct 模式下，整个过程不需要采样任何候选动作，也不调用终点代价函数。模型生成计划后，机器人先执行其中的第一个动作块；获得新的真实观察后，再重新编码当前状态并规划下一步。这种“执行一段、观察一次、重新规划”的闭环方式，可以减少长时间依赖模型预测所带来的误差积累。

对于接触更复杂、需要进一步修正的任务，INTACT 仍然保留了搜索能力。但搜索不再从随机动作开始，而是以已经生成的 Direct plan 为中心，只在附近进行小范围验证和调整。因此，在 INTACT 中，搜索的职责发生了变化：过去，搜索负责从大量随机动作中寻找方向；现在，模型先生成方向，搜索只在必要时进行局部验证与修正。

05 95.33% 背后：搜索从必选项变成可选项

我们在 PushT、Cube、Reacher 和 TwoRoom 四项官方 LeWM 任务上对 INTACT 进行了测试。每个单任务模型都从头训练，仅使用一个 epoch——也就是只完整遍历一次训练数据。在不采样任何候选动作序列、也不调用终点代价函数的 Direct 模式下，四项任务的成功率分别达到：

• PushT：85.78%
• Cube：100.00%
• Reacher：97.67%
• TwoRoom：97.89%

四项任务的平均成功率为 95.33%。这意味着，INTACT 不需要在部署时从大量随机动作中反复试错，仅根据当前状态与目标意图，就可以直接生成一条具有明确方向的动作计划。

更多搜索，不一定带来更好的结果

我们进一步比较了 Direct 与不同搜索方式的表现。在 INTACT 已经学到的动作接口基础上，再启用 Actor-on CEM 300×30，对 9000 条候选序列进行大范围搜索。结果四任务平均成功率为 93.78%，反而低于零搜索 Direct 模式的 95.33%。这说明，当模型已经学会生成一条连贯、目标导向的动作计划后，扩大搜索范围并不一定更有效。过于宽泛的搜索可能偏离模型已经学到的动作方向，也会重新引入大量预测和筛选开销。

相比之下，在 Direct plan 附近进行小范围验证，效果更好。我们提出的 Guarded A 以模型已经生成的动作计划为中心，只进行 384 条候选序列的局部搜索，四任务平均成功率进一步提升到 96.86%。与传统的 9000 条候选序列相比，采样数量减少了 23.44 倍，成功率却更高。

换言之，关键不在于搜索更多动作，而在于先生成一条值得被验证的动作计划。

传统世界模型需要依靠搜索找到行动方向；INTACT 则先由模型生成方向，再让搜索在必要时完成小范围检查与修正。

从秒级规划，降至毫秒级

动作生成方式的改变，也显著降低了规划耗时。规划侧测试显示：

• CEM 300×30：约 1.48 秒
• INTACT Direct：约 2.9—5.5 毫秒

也就是说，Direct 模式的规划侧延迟约降至传统 CEM 300×30 的 1/300。这里的时间指动作规划部分的推理耗时，并不代表机器人从视觉感知到实际执行的完整端到端延迟。但它仍然表明，传统世界模型中最耗时的大规模动作搜索环节，被压缩到了毫秒级。INTACT 并没有否定搜索的价值，而是重新划分了模型与搜索之间的职责：过去，搜索负责寻找方向；现在，模型先生成方向，搜索只在必要时负责验证和修正。

06 一个视觉编码器，同时学习四种任务

前面的单任务实验中，PushT、Cube、Reacher 和 TwoRoom 分别训练了自己的视觉模型。

但机器人面对的现实环境往往不会只有一种任务。一个更进一步的问题是：推动物体、操控方块、移动机械臂和穿越房间，这些差异明显的任务，能否共同训练同一个视觉编码器？

在多任务实验中，INTACT 让四种任务共享同一个 Visual Encoder 和 Projector。来自四类任务的画面都会进入同一个编码器，并被转换到同一个潜在表示空间中。这意味着，四种任务会共同参与塑造模型的视觉理解能力：物体在哪里、目标在哪里、画面发生了怎样的变化，以及哪些视觉差异真正会影响控制，都由同一个 Encoder 学习。

但四种任务的动作形式和动力学规律并不相同。例如，推动平面上的 T 形物体，与控制机械臂关节，显然不能直接使用同一套动作输出。因此，INTACT 并没有强行把不同任务的动作拼接到一起，而是为每项任务保留各自的：

• Forward Predictor；
• 动作嵌入；
• INTACT Predictor。

可以把这种结构理解为：四种任务共享同一套“视觉理解中枢”，同时保留各自的“动作执行系统”。

训练时，已知的任务类型会选择对应的控制头；四类任务的数据则共同更新同一个视觉编码器。这样既能够从多种视觉经验中学习共享表示，也不会混淆彼此不同的动作空间。

一个共享编码器，四项任务全部提升

在训练到第 5 个 epoch 时，共享编码器版本的 Goal-displacement INTACT 在 Direct 模式下取得了 89.39% 的四任务平均成功率。

在相同的共享编码器设置下，LeWM 使用 CEM 300×30 的平均成功率为 66.17%。

具体到四项任务，结果如下：

尤其在 Cube 和 TwoRoom 上，共享 INTACT 获得了明显提升。这表明，当动作监督与世界模型共同训练时，不同任务的数据可以一起帮助 Encoder 学会更适合控制的视觉表示。

局部意图与目标意图，在多任务中仍然缺一不可

多任务实验也进一步验证了前文提到的两类意图。仅使用目标意图的模型，四任务平均成功率为 80.61%；加入由真实状态变化提供物理锚点的局部意图后，完整 INTACT 提升到 89.39%，平均增加 8.78 个百分点。

这说明，仅仅学习“面对目标该怎么行动”还不够。真实相邻状态与动作之间的联系，依然能够帮助共享编码器理解：

• 哪些状态变化在物理上可实现；
• 哪些画面差异会影响动作；
• 哪些目标导向的动作建立在真实动力学基础上。

换言之：目标意图让模型知道要去哪里，局部意图帮助模型理解怎样的动作真实可行。二者共同训练，才能在多种任务之间形成更稳定的控制表示。

搜索依然只是最后的局部检查

在共享编码器设置下，INTACT Direct 已达到 89.39% 的平均成功率。以 Direct plan 为中心加入小规模 Guarded A 验证后，成功率进一步达到 90.47%，只提高约 1.08 个百分点。

这与单任务实验得出了相同结论：当模型已经能够从目标意图中直接生成可靠动作时，搜索的主要价值是完成最后的小范围验证，而不再负责从零寻找行动方向。

07 消融实验：关闭动作模型后，提升仍然存在

前文中我们得知，给传统世界模型增加一个动作生成模块，最直观的收益是减少搜索。但 INTACT 的作用并没有停留在部署接口上。

在训练过程中，INTACT Predictor 输出的动作会与轨迹中真实记录的动作进行比较。这个动作误差不仅用于训练动作模型，也会继续反向传递到视觉编码器。这相当于给 Encoder 增加了一条新的学习要求：

在压缩画面时，不仅要保留能够预测未来的信息，也要保留真正会影响机器人动作选择的信息。

仍以机械臂推动物体为例，两幅画面在视觉上可能十分相似：一幅中，机械臂距离物体还有很小的间隙；另一幅中，机械臂已经与物体接触。对于未来画面的整体预测而言，这一点细微差别可能并不显眼；但对控制来说，它可能决定机械臂接下来应该继续靠近，还是开始推动。

局部意图通过真实的“状态—动作—结果”关系，让模型保留这些与物理接触和动作可恢复性有关的信息；目标意图则进一步让当前状态的表示能够直接服务于目标导向的动作生成。因此，动作监督不仅训练了一个新的控制接口，也会反过来塑造世界模型的潜在表示。

为了验证性能提升是否只是来自新增的 INTACT Predictor，我们在评测时将动作模型完全关闭，只保留原有的 Encoder、Forward Predictor 和 CEM。

在四任务共享编码器实验中，使用相同的 Pure CEM 300×30 进行规划时，四任务平均成功率由 LeWM 的 66.17% 提升到 Goal-displacement INTACT 的 70.08%。此时 INTACT Predictor 并未参与生成动作，提升只能来自经过联合训练的视觉表示与 Forward Predictor。

单任务 PushT 的实验也呈现了类似趋势。随着局部意图和目标意图监督加入，即使关闭动作模型，Pure CEM 的成功率仍从 42.2% 逐步提升至 57.7%、61.4% 和 69.4%。冻结探针实验还显示，编码器中能够被读取出的物理状态和转移动作信息随之增加。

这些结果说明，INTACT 的改进包含两个相互连接的部分：一方面，它让模型能够根据目标意图直接生成动作；另一方面，动作监督也让世界模型更重视那些真正影响控制的状态信息。

08 INTACT 的局限性

目前，INTACT 的实验主要基于 PushT、Cube、Reacher 和 TwoRoom 四项模拟任务，使用固定目标图像与离线专家轨迹进行训练和评测。多任务模型虽然共享同一个视觉编码器，但不同任务仍然保留各自的 Forward Predictor 和动作控制头，因此它还不是一套能够跨任务、跨机器人本体自由切换的通用控制器。

同时，INTACT 学到的意图—动作关系仍然依赖训练轨迹所覆盖的经验。对于明显超出示范数据范围的新目标、复杂视觉干扰，或真实机器人中更丰富的接触与动力学变化，当前方法尚未完成验证。随着动作计划不断向前展开，模型也会逐渐使用自己预测出的潜在状态，长期预测仍可能带来误差累积。

此外，Direct 模式目前使用动作概率分布的均值作为输出。当一个场景同时存在多种合理动作时，例如在岔路口选择不同路线，或在接触转换阶段存在多个有效操作，平均结果有时可能落在几种正确动作之间。未来可以进一步探索多峰动作模型、基于不确定性的自动验证，以及更灵活的局部搜索机制。

因此，INTACT 当前证明的是：在离线轨迹覆盖的任务范围内，世界模型可以学习一个可直接部署的意图—动作接口，让大规模搜索从必选项转变为可选验证。

从模拟环境走向真实机器人，从固定目标走向分布外场景，再到跨任务、跨本体的统一动作接口，仍然是接下来值得继续探索的方向。

09 相关链接

INTACT 的论文、项目主页与代码仓库现已公开。我们期待更多研究者和开发者参与测试、讨论与扩展，共同探索世界模型从预测走向行动的更多可能。

• 论文：INTACT: Isomorphic Intent-to-Action Learning for Search-Free World Models（arXiv：https://arxiv.org/abs/2607.26056）
• GitHub：https://github.com/Roboparty/INTACT-JEPA（如果对你有帮助，欢迎 🌟）
• 项目主页：https://zju3dv.github.io/INTACT-JEPA/