非凸科普 | 机器人明明看懂了世界,为什么不会“认路”?——清华北航联合给它装上“类脑空间记忆”

发布时间:2026.08.26
分享:

编者推荐

机器人能“看懂”世界,却记不住走过的路——这是具身智能长期面临的瓶颈。本期非凸科普分享的Nature Communications论文,给出了一套类脑解决方案:让机器人像人一样,用地标、路线和认知地图三种方式组织空间记忆,并通过工作记忆按任务动态检索,再结合多模态大语言模型完成目标理解、长程规划和导航决策。

【论文亮点速通】:

· 结构化空间记忆:突破传统单一粒度建图的局限,首次将生物空间认知的三元结构完整地工程化落地,实现了从“反应式导航”到“记忆中心导航”的范式转变;

· 从仿真到真实的全链路验证:在Habitat模拟器的8195个episode中全面超越SOTA,更在200平米的真实室内环境中完成75次导航测试,并进一步展示了长指令跟随、具身问答和移动操作等更高阶的具身智能任务,验证了空间记忆对提升泛化与长程任务能力的核心价值;

· “惊奇驱动”的记忆更新机制:只存储“出乎意料”的观测,用最小记忆代价覆盖最大环境信息量,为大规模部署提供了可扩展的工程方案。

详细内容,非凸空间和你一起解读!

图片

图1 | 论文基本信息

01

反应式智能的困境:

看见什么才应对什么   

现在的具身智能体(带机械臂的机器人、家用服务机器人)已经能用大模型“看懂”图像、理解“把冰箱里的牛奶拿出来”这样的复杂指令。但一旦任务需要记住走过的路、在陌生环境中举一反三、规划跨越多个房间的长距离路径,它们就很容易“翻车”。

原因很直接:大多数机器人导航是反应式的——看到门就走过去,看到目标物体就停止。每一步决策都依赖当前观测,走一步算一步,没有持续的内部空间模型。用论文中的原话说:没有持久的空间内部模型,智能体就难以整合连贯的空间表征,也无法在即时刺激之外进行推理。

通俗理解:就像一个学生考试全靠“临场翻书”,从来不把知识装进脑子里形成体系——翻到哪页算哪页,题目稍微变一下就不会了。

即使是那些会建图的方法,也大多停留在单一粒度——要么是密集的点云(数据量大,检索成本高),要么是稀疏的拓扑图(信息承载有限,精细操作时力不从心)。如何将两种表征的优势互补、形成结构化空间记忆,是具身导航领域的一个开放性问题。

02

破局思路:

向人脑学习“空间记忆”  

那怎么办?论文团队把目光投向了生物空间认知。数十年的神经科学研究发现,生物体将空间知识整合为三种不同但相互关联的形式:

记忆类型通俗解释生物对应
地标记住“便利店门口有个红色邮筒”海马体中的位置细胞
路线知识记住“从邮筒往前走30米左拐”自我中心的路径记忆
全局知识脑子里有一张“街区地图”,可以从不同方向到达同一目的地认知地图

图片

图2 | Biological Intelligence-论文原图(1)

这三种记忆不是孤立的,而是通过工作记忆协调——根据当前任务需求灵活调用。这种“结构化空间记忆”,正是BSC-Nav想要在机器人上实现的。

这里有一个重要的设计选择:BSC-Nav并没有试图精确模拟海马体的神经回路,而是把“地标/路线/全局”抽象为三种可编程的数据结构。这种“从生物启智中借思想,用工程语言落地”的思路,本身就是一项核心贡献。如果太忠实于生物,就难以工程化;而完全无视生物启发,又可能错失关键洞见。

图片

图3 | Artificial Intelligence-论文原图(2)

图片

图4 | 基于BSC-Nav的导航及高层次空间感知任务执行-论文原图(3)

03

三大记忆模块:

BSC-Nav怎么工作   

模块一:地标记忆——“有什么,在哪里”

机器人探索环境时,地标记忆模块用YOLO-World这样的开放词汇检测器识别显著物体(沙发、桌子、冰箱等),并记录三方面信息:

· 在哪里:物体在世界坐标系中的3D位置;

· 是什么:语义类别;

· 长什么样:用GPT-4o生成一段文字描述(纹理、形状、周围环境)。

如果同一物体被多次看到,模块会自动检测重叠并融合记忆,避免信息冗余——就像你不会因为多看一眼同一个邮筒就在大脑里多记一次。

模块二:认知地图——从“走过的路”中抽象出“空间的形状”

这是整个系统中最具创造性的设计。机器人每走一步,就用DINOv2把当前RGB图像中的视觉特征提取出来,投影到三维体素网格中。随着探索推进,网格逐渐被“填满”,形成一种异中心的、类似地图的稠密表征。

但这里有一个工程上的核心难题:机器人走一圈,数据量巨大,怎么取舍?平均融合会让细节模糊,全存则内存爆炸。

BSC-Nav的答案是“惊奇驱动更新”——只有“出乎意料”的观测才会被存入。具体做法是:当一个新观测到达某个体素时,系统计算它与该体素及周围26个相邻体素中已有特征的平均差异(余弦距离),只有差异超过阈值(0.5)才被存储。如果缓冲区满了,就替换掉最相似的那个——相当于用最小的代价记住最多样化的信息。

这让人联想到自由能原理的哲学思想:生物系统倾向于更新内部模型以响应“预测误差”。但BSC-Nav并没有去实现一个复杂的变分优化,而是将其凝练为一个可调参的工程准则——简单、有效、能落地。

图片

图5 | 基于地标记忆及认知地图的定位-论文原图(4)

模块三:工作记忆——按任务“按需提取”

有了两个记忆库之后,还需要一个“调度中心”。接到导航指令后,工作记忆决定从哪个库取信息:

· 简单目标(如“找沙发”):直接从地标记忆中检索。

· 复杂目标(如“找那个红色皮质、靠窗的沙发”):激活认知地图做视觉匹配,甚至用Stable Diffusion“想象”目标长什么样再去比对。

此外,系统会对所有候选目标做复合排序——不仅看可能性,还看距离远近。这样规划出来的探索顺序,既高效又稳健。

图片

图6 | BSC-Nav 在真实环境中执行长指令的移动操作任务(1)

图片

图7 | BSC-Nav 在真实环境中执行长指令的移动操作任务(2)

04

大模型应该“想”,而非“动”   

直接将大模型输出映射为底层动作是目前具身智能研究中的一条主流路径,但这种方法面临频率、延迟和可靠性方面的挑战。

BSC-Nav提供了一个更健康的范式:

· 大模型(GPT-4、GPT-o3)负责“想”:理解指令、分解目标、语义推理;

· 结构化记忆(地标+认知地图)负责“记”:存储和组织空间知识;

· 传统规划器负责“动”:启发式路径规划、底层控制。

这种分层架构的实际落地,需要满足两个硬件前提:一是机载算力足以实时运行DINOv2和YOLO-World等视觉模型;二是感知系统能稳定提供RGB-D数据和位姿估计。值得一提的是,微分智飞即将发布的新一代教育科研平台,具备支撑BSC-Nav这类前沿框架的硬件能力,更多细节即将揭晓。

05

实验结果:这套“空间记忆”管用吗?   

模拟环境:全面碾压

在Habitat模拟器中,覆盖62个室内场景、8195个测试episode:

图片

更重要的是SPL(按路径长度加权的成功率)——这是同时衡量“找没找到”和“路线聪不聪明”的指标,BSC-Nav的提升甚至比SR更显著。说明它不仅成功率高,而且路线规划更高效,少走冤枉路。

图片

图8 | 论文原图(5)

图片

图9 | 论文原图(6)

真实环境:硬核验证

BSC-Nav被部署到一台自研移动机器人平台上,在200多平米的真实室内空间(两层楼)中进行测试。

5个目标 × 3类任务 × 5次重复试验 = 75次导航,平均路径长度23.4米。最令人信服的不是成功率数据本身,而是系统能在真实物理环境中稳定跑通整个链路:视觉感知→记忆构建→语义理解→路径规划→底层控制→目标验证→下游操作(抓取、放置等),环环相扣。

消融实验:去掉认知地图(只保留地标记忆),在TIN任务上成功率从78%直接掉到52%。这说明每一层记忆都有其不可替代的作用——地标扛不住需要细粒度视觉分辨率的任务,必须由认知地图来补位。

更高阶的能力:长指令跟随 & 具身问答

· 长指令导航:面对“穿过玻璃门,在沙发和咖啡桌之间穿行,走到冰箱前,右转停在楼梯入口”这样的复杂指令,GPT-o3先将其分解为子目标序列,再逐一用空间记忆定位。在零样本设置下达到38.5%的成功率,接近有监督的SOTA,但路径效率(SPL=53.1%)甚至超过了所有基线。

· 具身问答:在需要主动探索环境才能回答的复杂空间问题上,BSC-Nav的答案匹配率达到54.6(0–100尺度),远超所有对比方法。

图片

图10 | 导航任务-论文原图(7)

图片

图11 | 导航任务-论文原图(8)

读到这里,你可能已经看到了BSC-Nav「做了什么」。

接下来,我们来聊一个更有意思的问题:它告诉我们什么?

06

意义与启发:

是更准的导航,也是更聪明的思考方式   

范式转变:从“反应式”到“记忆中心”

传统导航优化的是"如何更快地响应刺激",BSC-Nav 构建的是"如何更好地组织经验"。两者的本质差异在于:前者是在模仿行为,后者是在借鉴认知结构——不是让机器人做和人一样的事,而是让机器人用和人相似的内部机制来组织知识。

大模型需要“结构性底座”

大模型强在语义理解和推理,但它们需要一个结构化的知识底座来真正发挥作用。没有这个底座,大模型就局限于“反应式问答”——你问它门在哪里,它根据当前图像告诉你;但如果你问“刚才路过的第二个房间里有几把椅子”,它就缺乏支撑这类空间推理的内部数据结构。BSC-Nav的空间记忆就是这个底座。

一个值得回味的理论延伸

论文还提出了一个有意思的观点:语言和空间认知可能是深度纠缠的,语言不只是“说出指令”的接口,它本身就可以是一种“行动模式”和“认知工具”。BSC-Nav的实践也呼应了这一点——语言目标在这里不仅是被执行的指令,更是引导记忆检索、激活特定空间表征的组织者。

这提示我们:未来的具身智能可能不仅需要构建空间的内部模型,还需要把它们与语言表征紧密耦合,让抽象、消歧和目标规范在这个过程中自然发生。

图片

图12 | BSC-Nav 在真实环境中执行长指令的移动操作任务(3)

07

局限与未来   

论文也坦诚列出了当前局限:

1. 大规模环境的挑战:环境越大,记忆容量和检索效率会面临瓶颈,需要引入层次化抽象——就像人脑一样,从房间级到区域级到建筑级分层组织。

2. 动态环境:场景随时间变化(物品移动、季节更替),记忆需要能持续修正。

3. 实时性:高层推理依赖API调用,在需要极低延迟的场景中需要进一步优化。

4. 更丰富的感知输入:深度、声音、触觉等信息尚未充分集成。

这些恰恰是留给读者的问题。BSC-Nav证明了“结构化空间记忆”这个方向是对的,但它还远未做到尽头。

结语

写给读者的话   

BSC-Nav这篇工作,名字里带“Brain-inspired”,但本质上是一个非常务实的工程化认知架构。它不是神经科学论文,也不是纯AI算法论文,而是一份“如何让机器人在大空间里像人一样记住和理解空间”的系统方案。这类工作在现阶段反而最稀缺——因为它要求对感知、记忆、规划、控制、语言、硬件全链路都有足够的理解深度。

如果你能从这篇论文中看到的不仅是一项技术,而是一种“系统性地解决具身智能问题”的思维框架——从生物启发中找灵感,从工程需求中定方案,从真机验证中找迭代方向——那这篇文章带给你的价值,就远远超出了它本身的实验结果。

【互动问题】:你觉得机器人的空间记忆,应该像人一样“记重点、忘细节”,还是应该追求完美地图?欢迎留言讨论。

如果觉得有启发,欢迎  转发  ,我们一起讨论!

论文信息:Ruan, S., Wang, L., Kang, C. et al. Brain-inspired spatial intelligence for embodied agents. Nature Communications, 2026.

原文链接(点击左下角“阅读原文”):

https://doi.org/10.1038/s41467-026-74358-5

关于我们

微分智飞(杭州)科技有限公司,以让飞行机器人“连接千行百业,飞入千家万户”为使命,致力于打造全球领先的飞行具身大脑及通用群体智能系统。公司依托自主导航、具身决策、端到端控制及群体智能四大核心技术,突破环境限制,打造面向多样复杂场景的飞行机器人基座模型,驱动构建应用于家庭、工业、教育、城市与自然空间的“空天智能终端”。

非凸空间是微分智飞旗下教育子品牌,以通用飞行平台产品为核心,致力于为高校、科研院所及应用单位提供全方位科研教育解决方案,涵盖实验室建设、专业建设、赛事支持、课程培训、人才培养及基金课题合作等领域,助力飞行机器人科研与教学更专业、更高效。

  END

图片

更多前沿内容 请关注公众号