非凸前瞻 | DiffWAM:世界模型刚开始“做梦”,无人机轨迹就已经出现了 | 非凸案例

发布时间:2026.10.01
分享:

微分智飞团队基于非凸飞行机器人平台提出DiffWAM(Diff Robotics World Action Model):不在线生成完整未来视频,直接从视频世界模型的预测表征中读出未来约五秒的连续三维相机轨迹。

训练时,用完整未来视频当“老师”;部署时,视频生成与三维重建被完全移出推理链路。

DiffWAM 将视频世界模型重定义为含未来运动先验的预测表示模型,将高性能导航世界模型真正带到无人机端侧。

图片

图1|DiffWAM 示意图

图片

传统基于视频世界模型的导航方案,通常要先生成未来视频,再通过几何重建或动作模块恢复运动轨迹。但纹理、颜色、光照等视觉细节对飞行控制并非必需,完整视频生成却消耗大量计算资源——对真实无人机而言,这条链路存在明显冗余。

DiffWAM 的答案很直接:未来视频还没有生成,未来运动或许已经存在于模型内部。

图片

DiffWAM 的输入很简单:一张无人机当前视角的 RGB 图像,加上一条自然语言指令,例如“围绕这棵树完整飞行一圈”。

系统只做截断前向——视频基础模型在预测推进的早期即被终止,系统从第 15、25、35 层同时读取多级预测特征(每层 5376 维投影到 512 维再融合),经 Grid-Motion 关联与 Latent2Pose 解码,直接输出一条 39 位姿运动序列(38 个未来位姿加初始位姿,含位置与旋转,统一于初始相机坐标系)。

视频骨干全程保持冻结,DiffWAM 只学习如何把其中的预测知识转换成可执行运动。

图片

图2 | Diff WAM 系统概览

单目 RGB 与语言指令输入,冻结的视频基础模型经截断前向产生多级预测特征,结合冻结首帧几何与估计尺度,解码出连续 SE(3) 相机轨迹;下方为 S0/S1/S2 三阶段训练。

图片

图片

1

 截断前向读出

不等视频生成完成,从浅、中、深层同时读取“接下来世界会怎样变化”,再映射为“相机应该怎样运动”。标准版 DiffWAM 执行四次截断评估并融合调度状态 0、1、3 的特征;DiffWAM-Flash 只做一次评估,在更早时刻即读出轨迹。

图片

2

 Grid-Motion

不把特征直接压成全局向量,而是先保留空间网格,建立时间关联(某区域如何随时间变化)与场景锚点关联(预测变化发生在真实场景的哪个位置),经门控残差融合后再池化为 312 个运动记忆 token,尽量保留“哪里在怎么动”。

图片

3

 第一帧几何

冻结的 MoGe2 从当前 RGB 估计 XYZ、法向、深度与有效区域,并给出场景的米制尺度,轨迹解码器同时关注运动记忆与几何信息,把“会怎么动”进一步落地为“具体移动多少米”。

图片

图3 | DiffWAM_内部模型架构

图片

训练分成三步:

S0 视频骨干准备,从大规模视频数据蒸馏导航参考轨迹;

S1 导航感知读出预训练,初始化运动读出;

S2 几何引导预测蒸馏(GPD),对同一输入与生成随机变量,先保存预测初期的内部特征,再完成整段未来视频,用 Pi3 重建轨迹、MoGe2 校准尺度,得到参考轨迹并监督早期特征。

教师与学生来自同一次 rollout、严格配对,不依赖在线环境交互。本质是把昂贵的“视频生成+三维重建”蒸馏进一个直接的轨迹读出。

图片

训练数据来自两个自动化系统:

FlyMirage 用大语言模型生成场景描述、以 Marble 构建高质量 3DGS 环境,并自动完成探索、目标检测与可行轨迹规划,约 1100 个场景、11 万+条轨迹;

NavGen 利用视频生成模型自身的运动先验,合成“穿过洞口”“围绕森林中的木屋飞行一圈”等复杂轨迹,约 40 万条。

合计 51 万+条样本,覆盖基础运动、指令跟随、目标导航、精确导航、空间锚定、特定轨迹、语言控制、场景理解、目标搜索等能力。

图片

Diff WAM-1000 基准包含 1000 个测试样本、18 类无人机导航任务,覆盖基础运动(10%)、目标交互(65%)、空间导航(15%)、场景理解(10%)四大类,同时评估终点误差、完整轨迹误差、姿态误差与闭环任务成功率。

统一一米终点判据下,DiffWAM 在 IndoorUAV-VLA、UAV-FLOW-Sim、Diff WAM-1000 上分别取得 56.77%、91.42%、74.40% 成功率,三基准均列第一;相对最强基线 WorldVLN(39.32%、80.24%、58.40%)的绝对提升达 17.45、11.18、16.00 个百分点。

四族任务分别为 92.00%、70.35%、74.03%、84.00%,提升最明显的是空间导航(+23.26 个百分点)与场景理解(+28.00 个百分点)。

在轨迹精度上,DiffWAM 同样取得 RMSE 0.3492 米、ADE 0.3151 米、FDE 0.4357 米、旋转误差 2.92° 的全最优成绩,比简单 MLP 读出降低 74.84% 的 RMSE,比最强的对比方案 Faster-WAM 降低 50.19%。

对“围绕目标飞一圈”这类任务,终点可能回到原点,只看终点误差远远不够——DiffWAM 真正回答的是“整个过程中到底怎么飞过去的”。

图片

图4 | DiffWAM 在仿真中的代表性轨迹生成结果

从目标接近(自行车、船只、扬声器、白色柜体)、受限间隙穿越(车库通道、屋顶框架),到完整环绕与方向条件化半环绕、下降至黄色降落垫,每例均附俯视轨迹。

图片

系统已部署到三种真实无人机平台:NCS-α-pro(非凸-α Pro)、NCS-β(非凸C5) 采用云辅助世界模型推理,NCS-Thor-preview 搭载 NVIDIA Jetson AGX Thor(128GB 内存),完全端侧运行。

实物实验覆盖环绕深蓝色柱体、穿过两棵树之间、S 型轨迹、穿过圆形框架、前往“微分智飞”标志墙、前往最左侧红色消防栓、绕树降落在黄色垫上、绕电风扇左侧抵达假山前方等任务。

图片

图5 | 三款真实无人机平台

NCS-α-pro、NCS-β 云辅助推理,NCS-Thor-preview 搭载 Jetson AGX Thor 实现完全端侧。

图片

图6 | 真实无人机完成九类任务

包括环绕柱体、穿树间、S 型轨迹、穿圆框、前往标志墙与消防栓、绕树降落、绕风扇至假山前等多类连续运动。

其中,多阶段任务进一步考验系统对任务进度的记忆:例如“先从电风扇左侧绕过,再抵达假山前方”——直接飞向最终目标并不能算完成。这类任务由团队此前提出的 DiffAgent 长程导航框架集成执行,验证了 DiffWAM 的轨迹提案能进入真实的多阶段闭环。

图片

模型推理需要时间,无人机却不会悬停等待。

FastDreamer 用共享权重指令改写(复用世界模型条件路径中已驻留的语言模型参数)、预测与几何分支并行计算,以及 Flight-Time Compute——把推理时间隐藏在当前仍可安全执行的轨迹窗口内。

Prospective Handoff 则保留拍照时刻的坐标系,在当前轨迹上预测未来交接状态并构造平滑过渡,避免“等模型想完,机器人已不在原处”的错位。

移除未来视频渲染与在线三维重建后,计算成本大幅下降。论文历史 pipeline 实测(含视频推理、并行几何估计与轨迹预测,不含指令改写与外部通信):

8×NVIDIA H20 上 DiffWAM 延迟 3.605 秒、DiffWAM-Flash 仅 0.835 秒;在 NVIDIA Jetson AGX Thor 上 DiffWAM-Flash 为 1.080 秒。对比同平台 NavDreamer 的 10.08 秒,DiffWAM-Flash 提速约 12.07 倍。

图片

图7 | 推理流水线分阶段延迟分解

一旦未来视频生成与 Pi3 重建被移出部署链路,单次轨迹读出被压缩到亚秒级。

图片

图8 | 不同轨迹读出架构的定性对比

从接近目标、移动到目标右前方、穿过圆环到 360° 环绕,DiffWAM(蓝)与参考轨迹(灰虚线)最贴合,MLP 在环绕任务中出现明显形变。

图片

这项工作的答案是:至少在当前实验中,未来视频尚未生成时,未来运动已经存在于模型内部。

Diff WAM 把视频世界模型从“视频生成器”重新定义为“包含未来运动先验的预测表示模型”,走出了一条更直接的 World Model→Action 路径:机器人不必真正看到模型想象出的未来,只需读懂它在想象未来时已经形成的运动。

论文信息

该论文由微分智飞团队基于飞行机器人

非凸-α Pro、非凸-β(C5)、非凸-Thor-preview平台提出。

项目主页:

https://zzmmzzm.github.io/diffwam.github.io/

原文链接(点击左下角“阅读原文”):

http://arxiv.org/abs/2609.39763

图片

图片

图片

图片

图片

     END

图片

想了解更多产品及活动详情

请扫码添加非凸小助手

图片

获取更多内容 请关注公众号