微分团队最新成果前瞻!从 “抵达终点” 到 “理解意图”:基于空中VLA导航的强化学习新框架

发布时间:2026.06.02
分享:

如果说传统无人机导航回答的是“到哪里去”,那么面向细粒度语言指令的空中智能体还必须回答另一个更难的问题:应该怎样飞。它要能听懂“绕着目标顺时针观察” “以 S 形依次避开障碍物”,也要在飞行过程中兼顾安全、平滑与人类语义意图。

围绕这一目标,微分智飞团队提出了一个面向 VLA 空中导航的强化学习框架。论文的核心不在于让无人机简单抵达目标点,而是让视觉-语言-动作模型在三维连续空间中学习“符合人类意图的轨迹”。

图片

图1|论文整体框架

图片

Vision-Language-Action(VLA)模型把视觉观测和自然语言指令直接映射到低层控制命令,为无人机提供了一条端到端的控制路径。但在空中导航中,监督微调(SFT)会遇到几个瓶颈:高质量飞行数据稀缺,面对分布外场景时泛化能力有限。同时,监督微调受制于离线数据集的指令集,难以提供监督信号来约束超出指令范围的复杂人类意图。

这也是论文将强化微调引入空中 VLA 的原因。相较于只模仿已有轨迹,强化学习通过可设计的轨迹级反馈,把“飞得是否符合人意”转化为可优化的信号。不过,由于三维无人机导航的状态空间巨大,随机探索很难采到高价值行为,尤其是在 S 形绕行、持续注视环绕、穿越狭窄空间等复杂意图驱动的任务中。

图片

为缓解在线探索的稀疏性,论文提出 Expert-Guided Group Relative Policy Optimization(EG-GRPO)。它并不是把专家数据单独作为一个预训练阶段,而是直接把少量的专家轨迹注入 GRPO 的在线 rollout 组中。

这些专家轨迹类似一个“高价值锚点”:当在线探索普遍失败时,它可以避免组内奖励均值和方差坍缩,使相对优势仍然具有区分度。这样,策略不会长期停留在低奖励区域,而能持续获得稳定的梯度信号,逐步把飞行行为推向更符合任务指令的方向。

图片

图2|训练流程

图片

在这项工作中,评估不止看最终是否到达,也需要关注轨迹中间状态与人类指令是否一致。为此,我们构建了一个评估指令对齐程度的奖励模型。我们将完整飞行轨迹、任务指令与环境信息作为输入,奖励模型会输出对应的轨迹分数。这意味着,策略优化的对象不再只是“抵达”,而是一个更接近人类评价方式的综合轨迹质量:是否安全、是否平滑、以及是否真正按照语言要求完成了整个导航指令。

图片

在线强化学习的另一个难点在系统层面。论文基于 Isaac Lab 构建无人机仿真平台,构建了精确碰撞网格、任务模板和无人机运动学模型以满足大规模在线探索的需要。但高保真的仿真系统也引入了一个额外的问题,仿真和推理对硬件的适配性并不相同:物理仿真和光线追踪必须使用带 RT Core 的 GPU,例如 NVIDIA L20;VLA 模型推理则更适合运行在计算型加速卡上,例如 NVIDIA A100。如果按传统同步流程运行,环境生成观测、模型推理动作、仿真执行下一步会形成严格串行依赖,两类 GPU 交替等待,训练时间被硬件空转吞掉。为此,论文设计了基于双缓冲的异构仿真-推理并行架构,并通过 SSH 与 Ray 实现跨节点数据同步。

图片

图3|异构并行流水线

实验显示,该流水线将每个 RL 训练步的 rollout 时间从 904.67 秒降至 511.01 秒,减少约 43.5%,也就是将时间成本压缩到串行基线的 56.5%。对于需要持续采样与反复更新的 VLA-RL 来说,这让模型的整体训练速度得到了可观的提升。

图片

我们在仿真场景中进行了 π0、OpenVLA-OFT 以及本文方法的基准测试。其中经过离线数据集监督微调后的OpenVLA-OFT模型作为强化学习的基线。

图片

表1 | 各任务难度下本文方法与主流 VLA 模型测试对比

总体来看,EG-GRPO 将 OpenVLA-OFT SFT 基线的成功率从 26.1% 提升到 55.6%,整体 IAS 从 4.50 提升到 7.24。而在困难任务上,我们的方法的成功率从 18.7% 到 43.1%,IAS 从 3.81 到 6.20。这说明所提出的训练框架不仅能强化已有导航行为,也能在高价值轨迹稀缺的情况下使策略掌握新的复杂飞行技能。

图片

图4|仿真任务示例

图片

图5|真实环境部署

在真实世界部署中,团队展示了 S 形绕行、速度调制目标导航、视觉锁定环绕等任务。无人机基于语言指令和机载相机的图像信息计算未来的路径航点,并通过机载飞行控制器生成底层控制指令。实验结果表明,在没有额外真实世界数据微调的情况下,无人机实现了飞行轨迹与复杂意图的精确对齐,验证了我们的方法的有效性。

图片

这项工作的价值,在于提出了一个为无人机导航设计的高效在线强化学习框架:EG-GRPO 用少量专家轨迹为探索提供锚点,奖励模型把中间飞行质量转化为可学习的信号,异构并行流水线则把策略在线探索的时间成本大幅压缩。从“到达目标”到“按照人的意思飞行”,无人机导航正在进入一个更细粒度的阶段。它不再只是空间中的点到点移动,而是在语言、视觉和动作之间建立一条可优化的通道。让飞机听懂语言,第一步是知道目标在哪里;下一步,是知道该怎样飞过去。

图片一键三连 持续获取更多前沿资讯图片