非凸前瞻 | 微分团队最新成果!D-VLC:从各自行动到自主协作,让异构机器人在未知环境中协同

发布时间:2026.08.04
分享:

多机器人系统除了能提高执行效率,还能让不同形态的机器人发挥互补优势:无人机负责快速移动、扩大视觉搜索范围,移动机械臂完成地面导航和物理操作。

然而,传统方法通常预先定义分工与决策,一旦任务语义、环境或机器人组合改变,便难以复用。面对开放式指令,异构团队还必须持续明确,平台各自该去哪里、结果如何汇合、能力不匹配时任务如何转交。由于环境事先未知,地图、目标位置乃至通行条件都只能在执行中逐步发现。

针对上述问题,微分智飞研究团队提出了去中心化视觉-语言协作框架D-VLC,将视觉语言模型引入异构多机器人协作。系统采用去中心化结构,各机器人在本地完成感知、推理与行动,以紧凑的空间状态和事件消息衔接进展;VLM根据场景证据、任务语义和团队能力选择高层行为,具体执行交由动作专家,从而在不针对任务或机器人重新训练的情况下适配多种具身平台。

图片

图 1|论文整体框架:多类未知环境、异构机器人形态、能力自适应决策,以及探索、开门和目标定位等协作行为

图片

传统多机器人系统通常围绕某一类任务单独设计,例如探索、目标跟踪或协同建图。任务模型、分工方式和决策程序往往由人工预先写好,一旦环境结构、机器人类型或任务语义发生变化,原有规则就很难直接复用。现实中的自然语言指令还常常包含隐含约束,例如“找到车库”可能意味着先搜索多个房间,也可能需要打开一扇阻挡未知区域的门。

LLM 为任务分解和角色分配提供了更强的语言推理能力,VLM 又进一步加入视觉理解,使机器人能够识别物体、区域和空间关系。但已有方法仍常依赖已知地图、集中式决策或同步协作,并且往往只覆盖导航或操作中的某一部分。要让异构机器人在未知场景中真正闭环协作,系统不仅要“听懂任务”,还要同时处理任务分解、轻量信息共享、能力匹配和机器人特定动作执行。

图片

图 2 |与其他方法的能力对比:我们方法能够实现未知环境中,利用视觉语音对齐实现异构机器人导航操作任务

图片

D-VLC 采用分布式异步的决策框架。任务开始时,一个机器人根据原始指令、初始观测和团队能力提出子任务,其他机器人再结合自身传感、移动与操作能力进行反馈。若某项分工需要自己并不具备的能力,机器人可以直接拒绝;最终确认的子任务只需广播一次,并与原始指令共同保留。初始化之后,没有中心模块统一选择探索点、导航目标或操作动作。每个机器人都独立接收全景图像、局部几何信息和队友更新,维护自己的记忆,并异步决定当前应该继续探索、执行任务,还是请求协助。机器人不必等待所有队友进入同一决策轮次,因此快机器人可以继续推进,慢机器人也可以按照自己的节奏完成地面探索或物理操作。

图片

图 3|D-VLC 信息流:任务分解由机器人共同反馈完成,后续感知、记忆、探索、求助和动作执行则由各机器人异步进行

支撑这一异步协作闭环的关键,并不是把所有原始数据都发给队友。D-VLC 不传输完整全景视频或持续累积的点云,而是为每个机器人维护一张小地图作为轻量级记忆模块。这张图同时表达已探索自由空间、障碍物、未知区域、机器人位置、候选探索目标,以及与房间区域关联的简短语义描述。

几何候选点来自自由空间、墙体边界与未知区域之间的关系;视觉模型还会补充真实门、走廊入口、遮挡区域或潜在任务目标等语义候选。队友的位置、当前目标和任务进度被融合到同一表示中,使 VLM 能够判断哪些区域已经搜索、队友正前往哪里、某个候选点是否已经被占用。通信采用事件驱动方式:完成一次局部探索、改变目标或发现能力不匹配时才发送结构化更新,从而让空间记忆保持有界,也避免把不断增长的历史直接塞进长上下文。

图片

图 4|VLM 可读的小地图:几何空间、房间语义、队友位置、探索候选与当前目标被组织到统一界面中

图片

当机器人在全景图像中发现任务相关物体或局部场景时,系统会进一步定位其图像区域,并结合边界框内的 LiDAR 深度估计全局位置;深度覆盖不足时,再使用 MoGe-2 补全几何信息。得到可执行的空间目标后,机器人首先检查自身能力:能够处理就直接执行,无法处理则广播包含目标语义、全局位置和所需能力的协助请求。

论文中的家庭场景展示了这一闭环。两架无人机和一台移动机械臂从“找到时钟和车库”这一模糊指令出发异步搜索。中途一架无人机发现时钟;当关闭的门阻挡未知区域时,无人机识别到自己无法开门,并把门的位置交给移动机械臂。随后机械臂完成开门,团队继续分散探索,最终找到车库。整段协作并非预先写好的固定脚本,而是由指令、视觉证据、小地图、任务历史和能力描述共同驱动。

在执行层面,VLM 只输出结构化的高层动作和目标,而不是直接生成整条连续轨迹。A*、EGO Planner、TopAY 和 FAST-LIO2 等已有模块分别负责长距离路径、无人机局部轨迹、移动机械臂导航与操作,以及定位建图。这样,同一套高层决策接口可以适配不同机器人形态,同时保留成熟运动规划器的可执行性。

视频 1|代表性家庭任务:异步探索、时钟识别、能力感知开门求助,以及车库发现共同组成完整闭环

视频 2|代表性废墟任务,分散探索,搜救任务

视频 3|代表性医院任务,分散探索,寻找厕所场景任务

图片

实验在 Unity 与 ROS1 中进行,团队由两架无人机和一台移动机械臂组成。无人机负责快速空中移动和大范围视觉搜索,移动机械臂能够进行地面导航与物理操作,但探索速度更慢。测试覆盖灾后废墟中的幸存者搜索、家庭场景中的时钟与车库搜索,以及医院中的卫生间搜索,分别强调不规则空间分散探索、多目标进度跟踪与开门访问,以及多房间语义搜索。

在相同感知、通信、能力检查和运动规划模块下,论文将 D-VLC 与几何贪心探索进行控制变量比较。结果显示,几何贪心的成功率为 66.7%,五种 VLM 驱动配置将成功率提高到 76.7%—90.0%。其中 Claude-Opus-4-8 的成功率最高,达到 90.0%;GPT-5.4-Mini 的平均完成时间最短,从基线的 377.2 秒降至 166.8 秒,减少 55.8%,总高层动作步数也减少 51.3%。

不同模型之间仍表现出可靠性与效率的权衡。例如,较少的高层决策步数并不一定自动带来更短的真实完成时间。按机器人统计可以看到,D-VLC 明显减少了移动机械臂承担的常规探索步骤,使这一较慢但具备操作能力的机器人更多地保留给开门等交互型子任务。

图片

表 1|三类任务场景上的定量结果:VLM 驱动的语义与团队条件探索整体上比纯几何目标选择更可靠,并在多数配置下显著缩短完成时间

为进一步解释这些性能提升来自何处,论文通过三个诊断任务分析关键组件:抓取绿色杯子、抓取椅子上的杯子,以及读取时钟。去除能力感知模块后,系统仍能完成时钟读取,却无法正确完成两项需要异构分工的抓取任务;使用文本 LLM 进行具身推理时,系统可以处理抓取关系,却因为缺少细粒度视觉理解而无法读出钟面时间。只有完整的 VLM 推理与能力感知组合,才能同时通过三项任务。

这组结果说明,开放环境中的异构协作不能只依靠语言规划,也不能只依靠视觉识别。机器人既要理解“看到了什么、目标在哪里”,也要判断“自己能不能做、应该由谁来做”,最终还要把判断转换成可执行动作。视觉 grounding、群体能力判断与物理执行共同构成完整闭环。

图片

图 5|组件分析:能力感知决定任务是否交给合适的机器人,视觉 grounding 则支撑外观、关系与钟面等细粒度理解

图片

D-VLC 展示的并非一个集中规划器的替代版本,而是一种面向未知环境的异构具身协作方式:团队先形成一次任务共识,各机器人随后独立运行视觉-语言-行动闭环;固定尺寸的小地图持续对齐空间与进度;能力不足时,任务通过结构化求助流向更合适的成员;统一高层接口再调用不同平台的动作专家。

因此,真正的去中心化协作不是让多台机器人各走各的,而是让它们在没有持续中央调度的情况下,仍能看懂同一项任务、共享必要信息、识别彼此能力,并把探索、定位与物理操作接成一条连续链路。D-VLC 所强调的“视觉-语言协作”,最终落在一个具体目标上:让不同形态的机器人在未知环境中,既能自主行动,也能在需要时自然接力。

论文链接(点击左下角“阅读原文”):

https://arxiv.org/abs/2607.29009

作者介绍

周缘,浙江大学控制科学与工程学院博士研究生。研究兴趣是集群智能,集群机器人规划。以第一作者发表T-ASE,IROS多篇。

邮箱地址:y2zhou@zju.edu.cn

欢迎进群

图片

学术观点 | 科研成果 | 直播分享

更有大咖不定期空降~

图片更多前沿内容 请关注公众号图片