非凸前瞻 | NavGen:基于视觉生成模型的具身3D导航数据引擎 | 非凸C5案例

发布时间:2026.09.28
分享:

在具身智能快速发展的今天,高质量数据的规模化已经成为推动模型能力提升的关键路径。然而在具身 3D 导航(Embodied 3D Navigation)任务中,数据获取长期受制于一个三难困境:

仿真数据可以大规模生成,却存在明显的视觉与动力学 sim-to-real gap;真机飞行数据真实可靠,但采集成本高、难以规模化,高难度机动还可能让飞行器面临炸机风险;而当底层场景、物体与任务配置有限时,单纯堆叠轨迹数量又会带来严重同质化,难以提供额外的监督信号。现有数据源始终无法同时兼顾“真实、多样、可扩展”。

图片

图1|NavGen 数据引擎整体框架

针对这一问题,微分智飞团队基于竞技级飞行机器人非凸-C5平台,共同提出了 NavGen——一种把视觉生成模型当作“数据引擎”的全自动具身导航数据生成方案。不同于以往将视频生成模型直接用作策略的思路,NavGen 让生成模型承担数据生产者的角色:组合文生视频、图像编辑与参考条件视频生成模型,构建出同时具备规模、多样性与长尾覆盖的 40 万条具身导航 episode。

为了促进社区发展,我们第一阶段率先开源已人工筛查过的50K数据集,之后的数据以及模型会陆续开源。

项目开源链接:https://xinjiu612.github.io/NavGen

图片

图2|生成数据示例

图片

NavGen 的第一步,是自动生成足够多样的导航任务描述。直接让视觉语言模型自由生成提示词,在数据量达到数十万时会出现严重同质化。

为此,方案把多样性锚定在一个显式的物体清单上:从包含 100 万个物体的 Cap3D 数据集中过滤掉生僻物体,得到 30 万个目标物体;同时把样本分配到预先定义的运动类别中,保证运动分布均衡。随后,系统把“运动提示 + 目标物体”交给 Qwen3.6-27B,让它以具身 3D 导航专家的身份,围绕该物体想象详细的环境风格、背景物体、空间布局与目标上下文,从而在物体层面保证样本多样性。

这些描述被送入经过步数蒸馏的 Wan2.2 14B T2V 模型,仅需四步扩散即可出片,在单张 A100 上每段 720p 视频约需 36 秒。这一阶段以较低成本产出 30 万条覆盖常见任务的导航 episode。

图片

视频生成模型并不总是严格遵循提示中的运动方向,这会带来运动分布失衡,进而把偏差传导给训练出的策略。

团队提出运动分布平衡策略:先用 Pi3 解码每段视频的整体运动方向并打上运动标签,再把失衡类别分为左右失衡与前后失衡两类——左右失衡用水平镜像纠正,前后失衡用时序反转纠正。

整个过程无需重新生成任何视频,仅此一项就带来约 15% 的导航成功率提升。

图片

图3|数据集运动分布与统计

图片

对于绕目标环绕、穿越狭窄空间这类困难机动,开源模型难以胜任,团队改用 Seedance 2.0 生成 1 万条高质量长尾样本。

但 1 万条远远不够,于是提出风格多样化:从每段视频抽取首帧,用 Qwen3.6-27B 生成“保留主体形状、改变周边物体与环境风格”的多样化描述;再由 Qwen-Image-Edit 据此重绘首帧;最后用 MoGe-2 把原始视频转成深度视频作为结构引导,交给 LTX-2.3 的 ICLoraPipeline 做参考条件视频生成。由此把 1 万条自动扩展为 10 万条。

生成模型偶尔会产生幻觉或破坏一致性。团队用自动评估管线过滤:VBench 分数低于阈值、或导航等级低于 L2 的样本会被丢弃,并从新采样的描述重新生成。由于生成视频未必严格遵循原始提示,还需要准确的视频级描述——系统把每段视频均匀降采样为 11 帧交给 Qwen3.6-27B 重新描述,并把 Pi3 解码的运动方向作为运动线索一并提供。

视觉语言模型本身对空间方向的理解较弱,这一线索显著提升了重标注的质量与一致性。

图片

为验证数据的价值,团队采用世界动作模型的“视频预测 + 动作解码”范式,以轻量的 Wan2.2 5B 作为基座。

训练上的关键设计是基于干净前缀历史条件的双向长视频生成:把前 k 个 latent token 替换为干净的真值观测,k 每步从 Uniform{1…N} 重新采样并被排除在损失之外——k=1 即退化为 I2V,k>1 则训练模型从干净历史 latent 续写,也就是 V2V。单一模型无需改动结构即可同时覆盖两种模式,且任务成功率明显优于自回归范式。

由于相邻导航帧高度冗余,模型在 640×384、33 帧下训练,把生成时间从 171.6 秒降到 12.3 秒;随后通过 sCM 预热与 DMD2 分布匹配蒸馏,把 30 步去噪压缩到 4 步并去掉 CFG;最后替换轻量 VAE,使编解码从约 1 秒降到 0.1 秒。最终整套推理管线单段仅需 0.70 秒,相对原始实现加速 244 倍,对应 47 FPS。

图片

在语义多样性上,NavGen 的 Vendi Score 达到 47.6,是次优数据集 IndoorUAV(16.8)的 2.8 倍;在 sim-to-real 对齐上,其 FD-CLIP 为 0.806,是所有非真实数据集中最低的,已接近纯真机飞行数据集 UAV-Flow(0.691)。

图片

图4|多样性与 sim-to-real 对齐

用同一套 Wan2.2 5B 分别在各数据集上微调后对比,NavGen 训练出的模型导航进度分数比最佳基线高 17%;在双向范式下仅一个 epoch 就达到约 79%,且随着数据量增长持续提升。

图片

图5|导航性能随数据规模的变化

在真机验证中,模型被部署到实体无人机上,在未见过的室内车库、园区道路与公园环境中完成 20 个真实任务(每个 5 次试验),零样本成功率达到 75%。

失败主要集中在目标过小、或与背景颜色对比不足的情况。长时程任务则通过里程计从机载观测缓冲中取回历史 RGB 帧作为上下文续写生成,使新片段继承前序状态、保持运动连续性。

图片

图6|真机导航实验

图片

这项工作的意义不只是提出了一个新的数据集,而是展示了一种新的具身导航数据生产方式:把视觉生成模型从“策略”扩展为“数据引擎”,通过运动分布平衡、风格多样化、视频过滤与重标注,一次性获得规模、多样性与长尾覆盖。随着生成模型能力持续提升,这类方案有望成为连接“仿真可扩展”与“真实世界泛化”的关键基础设施。

项目主页:

https://xinjiu612.github.io/NavGen/

项目开源链接:

https://xinjiu612.github.io/NavGen

作者介绍

作者:黄锡杰,浙江大学控制科学与工程学院25级研究生,研究兴趣世界模型、视觉语言导航、强化学习

图片

图片

图片

图片

图片

     END

图片

想了解更多产品及活动详情

请扫码添加非凸小助手

图片

获取更多内容 请关注公众号