AirHunt:打通VLM语义与连续规划,无人机户外开放集目标导航新范式

发布时间:2026.01.22
分享:

在无人机救灾搜索、空中监视、环境勘测等关键场景中,基于自然语言指令的自主目标导航是核心能力。传统方案要么受限于封闭集目标检测,无法应对“森林中丢失的红色背包”这类开放集需求;要么因视觉语言模型(VLM)推理延迟与实时规划频率不匹配,导致无人机“停-等”飞行,效率低下。

近期,微分智飞联合创始人周博宇团队提出了AirHunt系统,通过创新性架构与算法设计,首次实现了户外复杂环境下开放集目标的高效导航。本研究成果也将用于微分智飞语义引导目标定位相关工作中。

图片

随着VLM技术的兴起,无人机具备了理解自然语言指令的能力,但将其落地到户外大规模场景仍面临难以突破的瓶颈:

01

频率不匹配与3D理解不足

VLM推理延迟通常超过2000ms,而无人机实时规划模块一般需10Hz(100ms/次)以上的高频率运行,这种“慢语义推理”与“快运动规划”的频率鸿沟,导致现有系统陷入“停-等”循环——无人机必须悬停等待VLM输出指令,严重破坏飞行连续性。

同时,VLM基于2D图像推理,难以整合多视角信息形成全局3D空间认知,易出现动作不一致、过早放弃潜在区域或重复搜索等问题。

02

 语义引导与运动效率的失衡

高效导航需要兼顾语义线索(优先搜索目标相关区域)与几何效率(最短路径减少能耗),但现有方法多采用贪心策略或简单融合方案,形成二元对立:过度侧重语义易导致路线迂回、耗尽电量;过度侧重几何效率则会“盲目探索”,遗漏关键区域。

03

场景适配局限

现有VLM-based导航方法多针对室内小尺度、结构化环境,依赖明确的语义层级(如房间-物体关系)。

而户外场景(城市、森林、海岸)具有范围广、地形复杂、语义线索稀疏分布等特点,现有方法难以适配。

图片

图片

AirHunt的核心目标是“打通VLM语义推理与连续路径规划的协同”,通过三大核心设计破解上述挑战:

图片

01

双路径异步架构:解决频率鸿沟

AirHunt摒弃了“VLM直接生成动作”的传统范式,将VLM重新定位为“高层密集语义生成器”,并设计双路径异步工作模式:

低频语义推理路径(~0.3Hz):VLM对精选关键帧进行推理,输出区域级目标存在概率(语义先验),异步更新至共享的3D价值图;

高频运动规划路径(~10Hz):规划模块持续从3D价值图中提取动态语义信息,生成连续飞行轨迹,无需等待VLM推理结果。

两者通过3D价值图实现协同,既保证了VLM语义引导的有效性,又维持了无人机飞行的连续性,彻底摆脱推理时悬停等待的低效模式。

02

主动双任务推理(ADTR):减少冗余计算

针对无人机高频图像流的冗余问题,ADTR模块通过“主动关键帧筛选+双任务VLM推理”,实现语义信息的高效提取:

主动关键帧构建:分为两类关键帧——①覆盖感知关键帧:基于体素重叠率筛选,确保几何覆盖完整性;②任务感知关键帧:仅保留包含目标相关物体的图像,过滤语义无关信息。

双任务VLM推理:①语义价值推断:为覆盖感知关键帧分配目标存在概率,用于更新3D价值图;②目标验证:对任务感知关键帧中的检测目标进行语义校验,排除误检(如将阴影误判为水池)。

图片

03

语义-几何协同规划:平衡效率与优先级

SGCP模块通过三层优化,实现语义引导与几何效率的动态平衡:

语义前沿聚类:将未知区域边界(前沿)按语义相似度和空间邻近性聚类,形成语义前沿簇,避免盲目探索;

语义-几何视点生成:为每个簇选择最优观测视点,最大化“可观测语义价值总和”(既覆盖更多区域,又优先关注高语义价值区域);

选择性约束优化:仅对语义价值差异显著的簇施加访问优先级约束,语义相近簇则按几何距离优化路线,将全局路径规划问题转化为序列排序问题(SOP)高效求解,充分利用语义引导并兼顾运动效率。

图片

图片

图片

范式革新:首次将VLM从“动作生成器”转为“语义生成器”,通过3D价值图实现语义与几何信息的统一表征,解决了VLM与规划模块的频率匹配问题。

高效语义提取:ADTR模块利用几何与语义冗余,实现VLM的选择性查询,在保证场景认知的同时,大幅降低计算开销。

动态平衡机制:SGCP模块通过选择性约束注入,构建语义-几何统一优化框架,自适应异质环境(语义差异显著场景侧重语义,均质场景侧重效率)。

场景扩展:首次将开放集目标导航从室内小尺度场景,扩展到户外大规模复杂环境(城市、森林、海岸等),支持零样本泛化到25类目标。

图片

团队在仿真与真实环境中开展了全面评估,验证了AirHunt的性能优势:

01

仿真实验

团队在仿真与真实环境中开展了全面评估,验证了AirHunt的性能优势:

图片

实验设置:基于Unreal Engine 4.27构建4类户外环境( Downtown、Cabinlake、Neighborhood、Venice),覆盖16万-56万平方米区域,设计85个任务(25类目标,如“海滩上的帐篷”“路边的黑色垃圾桶”)。

核心指标(对比5类主流基线方法):

图片

消融实验证明:ADTR模块使成功率提升23.8%,SGCP模块使飞行时间减少39.1%,二者缺一不可。

02

真实世界实验

图片

部署于定制四旋翼无人机(搭载LiDAR、3台相机、机载计算机),在公园、景观区、居民区3类复杂场景开展10小时以上测试。

图片

任务完成率100%,成功应对目标遮挡、光照变化、复杂障碍物等现实问题,如在停车场精准识别黑色轿车(排除相似MPV)、在路边区分黑色垃圾桶与绿色垃圾桶。

03

计算效率

SGCP模块单次规划迭代耗时不足31ms,满足实时性要求;ADTR模块通过关键帧筛选,将VLM查询次数减少60%以上,降低了对算力和网络的依赖。

图片

AirHunt通过“双路径异步架构+ADTR+SGCP”的核心设计,成功解决了VLM与无人机实时规划的频率匹配、3D场景理解不足、语义-几何平衡三大核心问题,实现了户外大规模环境下开放集目标的高效导航。其73.1%的成功率、11.6m的导航误差,以及59.2%的飞行时间缩短,显著超越现有方法,为无人机自主目标搜索提供了新范式。

未来展望与方向:

扩展至多机器人协同导航,提升大规模场景搜索效率。

适配更多自主系统(如无人车、地面机器人)。

优化端侧VLM部署,降低网络依赖。

融合更多传感器信息(如热成像),提升复杂环境适应性。

AirHunt的提出,不仅推动了无人机自主导航技术的实用化,也为VLM在嵌入式系统、实时机器人领域的落地提供了宝贵经验,有望在救灾、安防、环境监测等领域产生重要应用价值。(论文链接:https://arxiv.org/pdf/2601.12742)

 关 于 我 们 

微分智飞(杭州)科技有限公司,以让飞行机器人“连接千行百业,飞入千家万户”为使命,致力于打造全球领先的飞行具身大脑及通用群体智能系统。公司依托自主导航、具身决策、端到端控制及群体智能四大核心技术,突破环境限制,打造面向多样复杂场景的飞行机器人基座模型,驱动构建应用于家庭、工业、教育、城市与自然空间的“空天智能终端”。

非凸空间是微分智飞旗下教育子品牌,以通用飞行平台产品为核心,致力于为高校、科研院所及应用单位提供全方位科研教育解决方案,涵盖实验室建设、专业建设、赛事支持、课程培训、人才培养及基金课题合作等领域,助力飞行机器人科研与教学更专业、更高效。

图片

如有相关问题 扫码添加小助手

图片

图片

图片

更多内容关注公众号

图片