在具身智能快速发展的今天,高质量数据规模化已经成为推动模型能力提升的关键路径。然而,对于空中机器人而言,尤其是无人机视觉-语言导航(Vision-Language Navigation, VLN)任务,数据采集仍然面临着长期存在的瓶颈:真实场景采集成本高、模拟环境真实感不足、轨迹生成缺乏动力学可执行性,导致现有数据集难以同时兼顾规模、多样性、真实画面与动力学可行性。

图1|从生成式世界模型到空中 VLN 数据采集
针对上述问题,微分智飞研究团队共同提出了一种面向空中视觉-语言导航任务的全自动大规模数据生成方案。该方法将大语言模型、图像生成模型、生成式世界模型、自动语义标注与动力学可行轨迹规划深度结合,实现了从场景设计、三维世界生成、目标标注到无人机轨迹采集的全流程自动化。

图2|数据生成方案整体框架

整体方案的第一步,是自动生成多样化的导航场景。与传统方法依赖人工设计场景不同,此方案将大语言模型作为“导航环境设计师”。系统首先构建一个包含多种常见环境的场景分类体系,例如:商业与零售空间,或住宅与家庭空间等。
随后,系统会先随机选择一个场景子类别, 例如“客厅”。再调用大语言模型生成该类别下的详细场景描述。这种“两步式”设计避免了直接让大模型随机生成场景时产生类别分布不均匀的问题,使数据集能够覆盖更加均衡和多样的真实环境。
在获得文本描述后,系统进一步调用图像生成模型生成对应的场景参考图像。相比单纯的文本描述,图像能够提供更具体的空间布局、物体摆放、材质、色彩和光照信息。随后,系统将文本描述与生成图像共同输入到生成式世界模型中,生成可探索的高真实感三维场景。

图3|场景生成流程

生成式世界模型虽然可以生成高真实感场景,但这类场景本身并不直接包含物体级语义信息。换句话说,系统虽然“看见”了三维世界,却还不知道其中哪些是桌子、椅子、书架、门、沙发或柜子。
为了解决这个问题,团队引入了自动场景标注模块。系统首先从场景的中心点利用开放词汇 3D 目标检测方法估计场景中物体的三维边界框。这样,系统可以自动获得“物体类别 + 三维位置 + 空间范围”的语义初步标注结果。
不过,初始视角下远距离物体的三维检测往往不够准确。为此,团队设计了一种迭代式场景探索与标注优化策略:基于初步标注结果,根据物体距离、空间分布和方位角,自动选择需要进一步靠近观察的目标。
对于这些目标,系统会规划一条安全的相机观测路径,沿途采集更多近距离、多视角图像,再重新进行目标检测与三维边界框融合。这一机制使系统能够从粗略观察逐步过渡到精细标注,从而减少远距离检测误差,提升最终物体边界框的准确性。

图4|迭代式场景标注

完成场景标注后,系统会自动从场景中的物体列表中选择目标,并对每个候选目标进行多重可行性检查,从而确定物体是否合适作为下一个导航目标。
接着,系统会在目标附近生成一个适合无人机到达的导航点,并将有效目标点交给 EGO-Planner(一种成熟的传统无人机导航算法)进行在线轨迹规划。与传统 A* 路径不同,EGO-Planner 能够生成满足无人机动力学约束的飞行轨迹,从而使采集到的数据更接近真实无人机可执行的运动模式。
在每条轨迹执行过程中,系统会从三维场景中同步渲染无人机视角下的 RGB 图像和深度图,并记录完整飞行轨迹。随后,系统还会调用多模态大模型对采集到的视频帧进行质量评估,仅保留视觉质量较高的轨迹进入最终数据集。同时,大模型会为质量较高的每条有效轨迹自动生成多种语言指令,包括:
目标中心型指令:直接描述目标物体,例如“找到书架”。
相对位置型指令:通过空间关系描述目标,例如“飞到书架旁边的椅子”。
外观描述型指令:通过颜色、形状、材质等视觉属性描述目标,例如“导航到绿色沙发”。

图5|导航与数据采集流程

基于上述全自动工具链,团队构建了一个大规模空中 VLN 数据集,共包含 500 个三维场景,自动识别出超过 5,000 个不同物体标签。每个场景中平均包含约 60–100 个物体实例,能够为导航任务提供丰富的语义上下文。
在轨迹层面,系统共采集约 50,000 条导航轨迹。其中,普通“物体到物体”轨迹的平均长度约为 4.33 m,中位数约为 4.06 m。同时,系统还支持将多个导航任务串联成长程任务,最长可形成约 20 m 左右的长程导航轨迹,从而同时支持短程与长程空中导航模型训练。与现有 VLN 和 UAV 导航数据集相比,核心优势在于它同时实现了:
高真实感场景:使用基于3D高斯泼溅方式构建的三维环境,能够提供接近真实场景的 RGB 视觉观测。
全自动生成:从场景设计、三维世界构建、语义标注到轨迹采集,均无需人工干预。
大规模扩展:只需给定场景类别,即可持续生成新的场景与轨迹。
动力学可行轨迹:采用面向无人机的轨迹规划器,而非仅依赖离散式路径搜索。
6-DoF 空中运动数据:支持无人机在三维空间中的完整自由度导航。
低成本采集:每个场景的制作成本约为 2 美元,并在制作全过程中只需一张消费级 NVIDIA RTX 4070 GPU提供算力。

图6|数据统计

这项工作的意义并不仅提出了一个新的数据集,而且展示了一种新的空中机器人数据生产方式:通过生成式世界模型构建高真实感三维环境,并在其中自动完成符合无人机动力学约束的数据采集。这使其成为面向下一代空中具身智能模型的重要数据基础设施。
未来,此方案有望进一步支撑通用空中导航模型、空中 VLA 智能体的训练。随着生成式世界模型能力不断提升,这类全自动数据生产方式也可能成为机器人学习中连接“仿真规模化”与“真实世界泛化”的关键桥梁。
关注我 获取更多前沿资讯![]()