非凸案例 | 北理工 BIT FALCON Lab 最新力作:MENTOR 让无人机真正听懂人话

发布时间:2026.05.18
分享:

自然语言正在成为无人机任务指挥的重要接口。想象一下,未来你不再需要理解复杂的飞行系统,只要说清楚“想让无人机完成什么”,它就能自主执行。

但从“听懂一句话”到“真实飞起来”,却并没有想象中的那么容易。端到端VLN方法具有广阔的发展前景,但在真实无人机场景中仍面临数据不足、泛化受限和 sim-to-real 等挑战。传统无人机自主系统在感知、规划和控制方面更加可靠,却缺少对开放语言任务的理解与组织能力。

针对这一问题,北京理工大学 BIT FALCON Lab、航天防务智能系统与技术科研重点实验室 提出了 MENTOR:一套面向真实无人机任务执行的任务级架构。它将大模型的语义理解与任务推理能力,和传统无人机系统的可靠执行能力结合起来,让无人机从“飞到指定坐标”,走向“理解任务、执行任务”,并利用科研教育飞行机器人非凸-α成功实现。

图片

自然语言指挥无人机,看起来很直接:用户说出任务目标,无人机自动完成任务。

但真实飞行并不只是语言理解问题。现有端到端视觉语言导航,通常希望将视觉观测和语言指令直接映射为动作、航点或控制相关决策。这类方法具备很强的一体化智能潜力,但在真实无人机场景中仍面临现实约束:

真实飞行数据获取成本高;

开放环境中的目标、场景和任务组合变化大;

模型决策过程难以完全解释和约束;

仿真训练到真实部署仍存在 sim-to-real gap;

因此,问题在于:如何让语言智能真正接入真实无人机系统,并在可靠、安全、可部署的框架下发挥作用?

图片

MENTOR 的思路是:大模型负责任务级的理解、决策与统筹调度,感知、规划及飞行执行等环节,则交由成熟可靠的底层算法实现。

图片

MENTOR 面向完整的无人机任务执行过程。具体来说,MENTOR 让无人机具备了以下几项核心能力:

理解任务目标:从开放语言中提取用户真正想完成的任务;

组织执行流程:将任务解析编排为可推进的规范化表征;

实时推理决策:根据感知层和执行层的实时反馈进行推理,判断任务执行状态,做出任务级决策;

调度无人机技能:根据任务需求,从基于传统算法开发并封装好的技能库中优选调用;

保持安全执行:在真实飞行中处理异常情况,并支持等待、恢复或安全退出。

以上能力共同构成了从“指令下发”到“任务执行”的完整链路。在展示视频中,我们可以直观看到:用户输入一条高层任务指令后,MENTOR 如何通过这些能力驱动无人机完成任务执行。

图片

MENTOR 主要由三部分组成:

图片

语义任务表示:

把一句话变成任务对象

自然语言任务通常开放、模糊、结构不固定。而无人机底层算法需要明确的目标、输入、边界和反馈。

MENTOR 首先将用户指令转化为结构化任务表示,包括:

任务目标;

执行阶段;

目标对象;

阶段转换条件;

安全与任务策略;

执行过程中的上下文信息。

这样,语言指令不再只是文本,而是变成系统可以持续维护、检查和执行的任务对象。

任务执行中枢:

让大模型在线判断

真实飞行过程中,环境和任务状态会不断变化。

MENTOR 设计了任务执行中枢,用于持续汇总:

当前任务阶段;

感知结果;

目标确认信息;

技能执行反馈;

异常与安全状态。

这些信息被整理后会交给大模型进行任务级推理。大模型主要回答三个问题:

当前任务进行到哪一步?

是否可以进入下一阶段?

接下来应调用什么能力?

随后,任务执行中枢会对大模型建议进行约束检查,并将合规可执行的决策转化为系统动作。

类型化技能接口:
把高层决策落到真实执行

任务判断之后,系统还需要真正执行动作。

MENTOR 基于探索、感知、定位、规划等传统算法开发封装了技能库,并设计了统一的技能接口。每个技能都明确:

需要什么输入;

执行什么能力;

返回什么反馈;

如何判断成功或失败;

异常情况下如何处理。

通过这种方式,任务中枢不需要直接操作底层算法细节,而是以统一方式调度不同技能。这让 MENTOR 可以复用成熟无人机算法,同时保留系统扩展能力:底层感知、规划或控制模块可以替换升级,任务层架构仍然保持稳定。

图片

自然语言指挥无人机的价值,不只是降低操作门槛。更重要的是,它改变了人和无人机之间的协作方式。

未来,你将不需要理解飞控、底层算法和任务流程,只需要表达:“我想完成什么。”,MENTOR则负责实现你的想象。

有了它,无人机将从需要专业人员操作的飞行设备,逐渐走向你能够听懂意图并可靠行动的可靠伙伴。

本项目使用非凸空间科研教育飞行机器人非凸-α完成。

项目链接:https://falconxlab.github.io/MENTOR/

END

团队介绍

团队指导教师李震、刘海阔、杜长坤。团队依托于北京理工大学、“自主智能无人系统”全国重点实验室、航天科工集团智能科技研究有限公司,形成“产学研”协同赋能科研模式。

团队多年聚焦无人集群任务式指挥、自主协同任务领域开展科研攻关。团队承担国家重点研发计划、某科技委JCJQ、科工局GF基础科研、某科委创新特区等数十项省部级以上项目。

曾获国防科技进步奖三等奖、某科技委GF创新特区“某燎原”一等奖等奖项。指导学生获全国挑战杯一等奖、大疆RoboMaster无人飞行器智能感知技术竞赛精准定位赛项一等奖、IMAV2018 Autonomy 1st Prize等。

图片关注我 获取更多前沿资讯图片

图片

点“阅读原文”,进入项目链接