非凸前瞻 | 最新科研成果公开!PathPainter:将图像生成模型的泛化能力迁移到导航任务中

发布时间:2026.05.20
分享:

鸟瞰图(BEV)能够为机器人提供道路结构、开放区域、障碍物分布以及目标周围环境等全局信息,因此在户外导航任务中具有重要价值。然而,如何充分挖掘 BEV 图像中的丰富信息,并在真实执行过程中可靠地利用这些信息,仍然是一个关键挑战。

图片

图1:导航系统概览。 

针对这一问题,微分智飞团队提出了一种基于 BEV 全局先验的导航系统 PathPainter,面向地面及近地面机器人平台。如图1所示,该系统将图像生成模型引入导航流程,使机器人能够根据自然语言指令理解人类意图,在 BEV 地图中识别目标位置,并进一步生成可通行区域掩码。

在路径规划阶段,系统基于生成的可通行区域掩码运行 A* 算法,得到可执行的全局路径。与此同时,为了提升长距离导航过程中的可靠性,研究团队还引入了跨视角定位方法,将机器人本地 RGB-D 观测与 BEV 地图进行对齐,从而缓解传统里程计在长时间运行中的漂移问题。

该工作进行了大量基准实验来评估所提出的方法,并进一步在无人机平台上进行了验证。仅使用传统的局部运动规划器,该无人机就成功完成了一项 160 米的户外长距离导航任务。

这项工作展示了如何将基础模型的世界理解能力迁移到具身导航中,使机器人能够受益于现有图像生成模型强大的泛化能力。

图片

系统概览:用俯视图

为机器人导航开“上帝视角”

如图2所示,PathPainter 构建了一套基于鸟瞰图(BEV)的导航规划框架。系统以航拍正射影像和自然语言指令作为输入,自动理解目标意图、分析地图可通行区域,并生成一条可执行的导航路径,最终部署到真实机器人平台上完成自主导航。

整个系统采用分层设计:在高层,图像生成模型负责理解 BEV 地图、生成可通行区域掩码,并结合起点和目标位置规划全局路径;在低层,系统通过跨视角定位将全局路径映射到机器人局部坐标系中,并结合 LiDAR 里程计和局部规划器,实现实时避障与轨迹跟踪。

这种设计将高层语义推理与底层运动控制解耦,使机器人既能“看懂”全局环境,又能在复杂、非结构化的户外场景中稳定执行导航任务。

图片

图2:基于俯视图先验信息的导航的整体框架。

图片

在图像生成中理解导航任务

PathPainter 将路径规划问题重新定义为一个“图像到图像”的生成过程:让图像生成模型直接从鸟瞰图中理解环境结构,并把这种理解转化为机器人可以执行的导航路径。

具体来说,PathPainter首先会在 BEV 地图上用绿色星标标出机器人的当前位置。随后,图像生成模型会结合起点信息和自然语言指令,推理出目标所在位置,并在地图中进行标注。

与此同时,模型还会根据设计的提示词生成可通行区域掩码。这个掩码能够明确区分道路、人行道、开放空地等可行走区域,以及建筑、植被、障碍物等不可通行区域。即使道路被树木部分遮挡,模型也可以利用全局上下文理解,尽可能保持道路连通性。

在得到可通行区域后,系统会在二值掩码上运行 A* 搜索,生成连接起点和目标点的可行路径。为了让路径更加安全、稳定,规划过程中还引入了基于边界距离的惩罚项,使路径尽量远离道路边缘、靠近可通行区域中心。

通过这种方式,PathPainter 不仅让模型“看懂地图”,更进一步将地图理解转化为机器人能够实际执行的导航路径。

图片

图3:PathPainter 的工作流程。

第 1 列: 自然语言目标查询。

第 2 列: 标注了机器人当前位置的原始地图。

第 3 列: 可通行区域掩码。

第 4 列: 最终规划结果,其中生成的可通行区域掩码、预测的目标位置以及规划路径被叠加显示在原始地图上。

图片

跨视角定位:

在地图中找到“我在哪”

为了让 BEV 地图上规划出的全局路径真正被机器人执行,系统引入了跨视角定位模块,将机器人本地里程计坐标系与 BEV 地图坐标系进行对齐。

系统会实时估计机器人在 BEV 地图中的全局位置和朝向,并根据当前位姿,从全局路径中选取一个前方的目标点。随后,这个目标点会被转换到机器人自身的局部坐标系中,作为局部规划器的短距离导航目标。

这样一来,机器人既可以利用 BEV 地图提供的全局路径信息,又能够依靠本地规划器进行高频率的运动控制和实时避障。同时,跨视角定位还会周期性修正传统里程计在长距离运行中的漂移问题,使系统在户外长距离导航中更加稳定可靠。

这种方式将“地图上的路径”转化为“机器人脚下真正能走的路”,实现了从全局语义规划到局部运动执行的闭环。

图片

对比实验:Foundation Model

在泛化性上有巨大优势

为了验证生成式先验是否真正有助于机器人导航,该工作进一步进行了多组基准实验。

需要强调的是,PathPainter 的目标并不是单纯做道路分割,也不是完整重建道路拓扑,而是为导航生成“可通行先验”。这意味着模型不仅要识别可见道路,还需要理解遮挡下的道路连续性,并判断更广泛的可通行区域。

在上游可见道路分割实验中,Gemini 在多个数据集上表现出较强的召回能力,能够生成更加连续的道路区域;相比之下,SAM 3.1 虽然速度更快、精度较高,但结果相对保守,难以自然完成遮挡补全和任务级可通行推理。

在下游路径规划实验中,该工作将不同方法生成的结果统一输入 A* 规划器进行比较。该工作评估了三个指标:

1. Succ. 在采样的起点—终点对中,规划器能够在预测的可通行区域掩码上找到连通路径的比例。

2. Valid. 对于成功规划出的路径,路径中位于真实可通行区域内的比例。

3. Len. 表示预测路径长度与真实最短路径长度之间的比值,该数值越接近 1,说明路径质量越好。

结果显示,RNGDet++ 和 SAMRoad 在域内数据上表现稍好,但在跨域场景中成功率明显下降;而 Gemini 在 OOD 场景下保持了更高的可达性和更稳定的路径长度,说明其在复杂真实环境中具有更强的泛化能力。

此外,该工作还测试了一种更直接的方案:让 Gemini 直接生成起点到终点之间的路径掩码。实验发现,这种方式虽然简单,但成功率较低,路径质量不稳定,容易产生穿越不可通行区域的无效捷径。

因此,PathPainter 最终采用“先生成可通行先验,再进行搜索规划”的流程:让图像生成模型负责理解环境结构与可通行区域,再由 A* 算法生成更可靠、可执行的更优的导航路径。

图片

表1:上游分割任务基准测试。

图片

图4:Gemini会标注出不在ground truth内的道路,因此有时合法性(Valid.)稍低。

图片

表2:下游规划任务基准测试。

图片

实物实验:在多组户外长程导航中取得71%端到端成功率

为了验证完整系统在真实环境中的可行性,该工作将其部署到四旋翼无人机平台上进行实地测试。平台搭载 RealSense D455 相机用于跨视角定位,并使用 Livox Mid-360 激光雷达完成状态估计与局部建图。为了模拟近地面机器人视角并保证飞行安全,无人机保持 1 米低空飞行。

实验中,该工作先使用无人机采集航拍图像,并生成带有尺度信息的 BEV 正射地图,作为系统的全局先验。随后,PathPainter 根据自然语言指令在线识别目标位置、生成可通行区域,并规划全局路径。低层控制部分则结合高频局部规划器,实现实时避障和轨迹跟踪。

该工作在 7 个真实场景中共测试了 21 条导航路线,覆盖不同道路结构和天气条件。最终,系统成功完成 15 条路线,端到端成功率达到 71.4%。

实验结果表明,即使在商业地图缺失路径标注、GPS 信号不稳定或存在较大里程计漂移的复杂户外环境中,PathPainter 仍能够利用 BEV 先验和跨视角定位,完成从自然语言指令到真实机器人执行的完整导航流程。

图片

图5:实验一。

图片

图6:实验二和实验三。

图片

该工作将 BEV 导航重新定义为一个图像生成问题,使图像生成模型能够为目标定位、可通行性估计和全局路径规划生成密集的导航先验,并进一步将其转化为结构化、可搜索且可由真实机器人执行的路径。从“看见地图”,到“理解环境”,再到“走向目标”,PathPainter 展示了生成式模型赋能机器人导航的一种可行路径,也让我们距离更加通用、智能和可靠的具身机器人更近了一步。

图片


关注我们 获取更多前沿内容 
图片