自然语言正在成为无人机任务指挥的重要接口。想象一下,未来你不再需要理解复杂的飞行系统,只要说清楚“想让无人机完成什么”,它就能自主执行。
但从“听懂一句话”到“真实飞起来”,却并没有想象中的那么容易。端到端VLN方法具有广阔的发展前景,但在真实无人机场景中仍面临数据不足、泛化受限和 sim-to-real 等挑战。传统无人机自主系统在感知、规划和控制方面更加可靠,却缺少对开放语言任务的理解与组织能力。
针对这一问题,北京理工大学 BIT FALCON Lab、航天防务智能系统与技术科研重点实验室 提出了 MENTOR:一套面向真实无人机任务执行的任务级架构。它将大模型的语义理解与任务推理能力,和传统无人机系统的可靠执行能力结合起来,让无人机从“飞到指定坐标”,走向“理解任务、执行任务”,并利用科研教育飞行机器人非凸-α成功实现。

自然语言指挥无人机,看起来很直接:用户说出任务目标,无人机自动完成任务。
但真实飞行并不只是语言理解问题。现有端到端视觉语言导航,通常希望将视觉观测和语言指令直接映射为动作、航点或控制相关决策。这类方法具备很强的一体化智能潜力,但在真实无人机场景中仍面临现实约束:
真实飞行数据获取成本高;
开放环境中的目标、场景和任务组合变化大;
模型决策过程难以完全解释和约束;
仿真训练到真实部署仍存在 sim-to-real gap;
因此,问题在于:如何让语言智能真正接入真实无人机系统,并在可靠、安全、可部署的框架下发挥作用?

MENTOR 的思路是:大模型负责任务级的理解、决策与统筹调度,感知、规划及飞行执行等环节,则交由成熟可靠的底层算法实现。

MENTOR 面向完整的无人机任务执行过程。具体来说,MENTOR 让无人机具备了以下几项核心能力:
理解任务目标:从开放语言中提取用户真正想完成的任务;
组织执行流程:将任务解析编排为可推进的规范化表征;
实时推理决策:根据感知层和执行层的实时反馈进行推理,判断任务执行状态,做出任务级决策;
调度无人机技能:根据任务需求,从基于传统算法开发并封装好的技能库中优选调用;
保持安全执行:在真实飞行中处理异常情况,并支持等待、恢复或安全退出。
以上能力共同构成了从“指令下发”到“任务执行”的完整链路。在展示视频中,我们可以直观看到:用户输入一条高层任务指令后,MENTOR 如何通过这些能力驱动无人机完成任务执行。

MENTOR 主要由三部分组成:

语义任务表示:
把一句话变成任务对象
自然语言任务通常开放、模糊、结构不固定。而无人机底层算法需要明确的目标、输入、边界和反馈。
MENTOR 首先将用户指令转化为结构化任务表示,包括:
任务目标;
执行阶段;
目标对象;
阶段转换条件;
安全与任务策略;
执行过程中的上下文信息。
这样,语言指令不再只是文本,而是变成系统可以持续维护、检查和执行的任务对象。
任务执行中枢:
让大模型在线判断
真实飞行过程中,环境和任务状态会不断变化。
MENTOR 设计了任务执行中枢,用于持续汇总:
当前任务阶段;
感知结果;
目标确认信息;
技能执行反馈;
异常与安全状态。
这些信息被整理后会交给大模型进行任务级推理。大模型主要回答三个问题:
当前任务进行到哪一步?
是否可以进入下一阶段?
接下来应调用什么能力?
随后,任务执行中枢会对大模型建议进行约束检查,并将合规可执行的决策转化为系统动作。
类型化技能接口:
把高层决策落到真实执行
任务判断之后,系统还需要真正执行动作。
MENTOR 基于探索、感知、定位、规划等传统算法开发封装了技能库,并设计了统一的技能接口。每个技能都明确:
需要什么输入;
执行什么能力;
返回什么反馈;
如何判断成功或失败;
异常情况下如何处理。
通过这种方式,任务中枢不需要直接操作底层算法细节,而是以统一方式调度不同技能。这让 MENTOR 可以复用成熟无人机算法,同时保留系统扩展能力:底层感知、规划或控制模块可以替换升级,任务层架构仍然保持稳定。

自然语言指挥无人机的价值,不只是降低操作门槛。更重要的是,它改变了人和无人机之间的协作方式。
未来,你将不需要理解飞控、底层算法和任务流程,只需要表达:“我想完成什么。”,MENTOR则负责实现你的想象。
有了它,无人机将从需要专业人员操作的飞行设备,逐渐走向你能够听懂意图并可靠行动的可靠伙伴。
本项目使用非凸空间科研教育飞行机器人非凸-α完成。
项目链接:https://falconxlab.github.io/MENTOR/
END
团队介绍
团队指导教师李震、刘海阔、杜长坤。团队依托于北京理工大学、“自主智能无人系统”全国重点实验室、航天科工集团智能科技研究有限公司,形成“产学研”协同赋能科研模式。
团队多年聚焦无人集群任务式指挥、自主协同任务领域开展科研攻关。团队承担国家重点研发计划、某科技委JCJQ、科工局GF基础科研、某科委创新特区等数十项省部级以上项目。
曾获国防科技进步奖三等奖、某科技委GF创新特区“某燎原”一等奖等奖项。指导学生获全国挑战杯一等奖、大疆RoboMaster无人飞行器智能感知技术竞赛精准定位赛项一等奖、IMAV2018 Autonomy 1st Prize等。
关注我 获取更多前沿资讯

点“阅读原文”,进入项目链接