成果详解 | FlyCo 开创基础模型赋能无人机 3D 扫描新范式

发布时间:2026.01.16
分享:

在基础设施巡检、灾害应急响应、文化遗产数字化等关键领域,无人机自主3D扫描技术是实现高效数据采集的核心支撑。

然而,当前主流技术范式始终面临难以调和的核心困境,严重制约了其在开放世界中的实用价值。

南方科技大学、香港科技大学、中山大学联合团队提出的FlyCo系统,通过融合基础模型(FMs)的创新架构,为解决这一难题提供了系统性方案。微分智飞联合创始人周博宇深度参与此项研究,本文将围绕该系统的核心技术与应用价值展开深度解读。

图片

图片

现有无人机3D扫描技术主要分为两类范式,但均存在根本性局限,难以满足开放世界的复杂需求:

人工依赖过重:两阶段范式需先进行粗扫描,再通过人工处理几何数据生成精细路径,不仅人力成本高,且无法应对突发障碍;探索式范式依赖用户指定3D边界框,框体精度直接决定扫描效果,过大导致冗余扫描,过小则遗漏目标部分;

场景理解缺失:现有系统缺乏类人级别的世界知识与空间理解能力,无法从部分观测推断目标完整形态,只能依赖局部反馈生成路径,导致扫描效率低下、覆盖不完整。

图片

图片

这些困境的核心在于:现有系统无法将通用知识与飞行技能有效融合,要么依赖复杂人工预设,要么受限于特定环境假设,难以在开放世界中实现低代价、高效率、高安全性的自主扫描。

图片

现有无人机系统的核心瓶颈 ——缺乏场景理解与世界知识,恰恰是基础模型(FMs)最具潜力的突破点:基础模型在视觉 - 语言对齐、通用内容生成上的成功,为无人机赋予类人空间理解与 “想象力” 提供了可行路径,有望大幅降低对高成本人工先验的依赖。

但将基础模型直接迁移至开放世界无人机 3D 扫描任务,仍面临三大待解挑战:

数据与实时性矛盾:现有基础模型与机器人系统的融合多依赖端到端学习,需海量专家飞行数据,但开放世界场景中无人机需同时平衡覆盖、效率与安全,采集大规模飞行数据不现实;且基础模型的高推理延迟,与飞行所需的实时响应存在天然冲突;

3D 空间适配不足:基础模型主要针对语言与 2D 视觉设计,将其知识蒸馏到 3D 空间以实现 “复杂目标识别 + 未观测部分预测” 的研究仍较匮乏 —— 面对长序列飞行的流式传感数据,现有基础模型存在内存占用高、稳定性差的问题;而当前预测方法既难以泛化到物理尺度的新结构,又易因 “几何幻觉” 导致扫描效率下降;

规划逻辑不匹配:基础模型驱动的机器人运动策略多依赖短时域推理,与 3D 扫描所需的高效全局覆盖规划需求不符;同时忽略历史路径的时序一致性,易导致轨迹冲突、效率降低,且全局规划的计算开销会延迟更新,既影响扫描准确性,也削弱了障碍响应的实时性。

图片

FlyCo的突破在于构建了一套基于原则设计的感知-预测-规划闭环架构,将基础模型的通用知识与无人机飞行技能深度融合,仅通过文本描述或稀疏视觉标注等低代价人类指令,即可实现开放世界目标的自主扫描。

图片

提示驱动的场景感知:

实现抽象指令与物理世界的精准对齐

融合SAM2分割模型与视觉-语言模型(VLM),支持文本与视觉双模态提示输入,有效化解单一模态的歧义问题,无需人工定义3D边界框或分割目标;

创新流式高效适配机制,通过滑动窗口优化记忆库降低显存开销,结合轻量化量化技术,使感知模块能在机载设备上实时运行(约2-2.5 Hz);

提出跨模态修正策略,利用激光雷达的3D几何聚类与2D图像分割双向校验,通过卡尔曼滤波维持时序稳定性,避免视角变化导致的目标漂移,确保长时域飞行中的目标跟踪精度。

多模态表面预测:

提供全局结构先验,破解局部观测局限

设计极简后融合多模态融合网络,有效整合当前部分几何观测、RGB图像与文本提示,通过交替注意力机制实现基础模型知识向3D空间的高效迁移,精准推断目标完整形态;

构建FM支持的自动数据生成流水线,利用Blender渲染多视角图像、GPT-4生成全局描述,大规模扩充训练数据,提升模型的零样本泛化能力,可适配不同尺度、类型的目标结构;

引入局部表面正则化与推理时自适应致密化策略,确保预测结果既贴合已观测部分(避免几何幻觉),又能适配不同尺度目标,为规划阶段提供高质量的全局结构参考。

预测感知的分层规划:

平衡效率与安全的异步架构

全局规划层基于预测的完整目标形态,生成覆盖全目标的高效路径,通过 viewpoints重用、分组序列匹配确保时序一致性,减少冗余飞行,提升长时域扫描效率;

局部规划层基于在线地图与ESDF距离场,通过视点约束轨迹优化实现实时避障,确保动态环境下的飞行安全同时保证结构信息扫描完整,响应频率高达20 Hz;

采用异步运行机制,全局规划(1 Hz)与局部规划(20 Hz)独立运行,有效化解基础模型推理延迟与飞行实时性的矛盾,兼顾全局效率与局部安全。

图片

架构创新:首次提出“感知-预测-规划”闭环的模块化架构,将基础模型的优势聚焦于感知与预测环节,将长时域规划与实时响应交给优化类方法,避免了端到端学习对海量飞行数据的依赖,同时保留了基础模型的场景理解能力;

知识迁移创新:突破基础模型在3D空间的应用局限,通过多模态融合与交替注意力机制,将视觉-语言模型的通用知识有效蒸馏到3D扫描任务中,实现从2D语义到3D几何的精准映射;

工程化创新:通过滑动窗口内存管理、轻量化量化、异步运行等设计,解决了基础模型在机载设备上的部署难题,使系统能在资源受限的无人机平台上实现实时运行,兼顾性能与实用性。

图片

图片

图片

真实场景验证:复杂环境下的可靠表现

在拱桥、音乐厅、城堡大门、红砖建筑四类典型开放场景的实测中,FlyCo展现出优异的实用性:

仅需简单人类指令,无需任何环境先验,单次飞行即可完成目标扫描,无重复飞行需求,人类操作代价显著低于现有方法;

针对100m×60m×35m的大型音乐厅,实现超1000m连续自主飞行,轨迹生成平均延迟仅32ms,信息完整性随飞行逐步收敛,初始观测仅35%时即可恢复目标整体形态;

在密林、人群等复杂 clutter 环境中,始终保持安全距离(大于无人机半径0.55m),成功穿越2.5m狭窄通道,安全性与适应性突出。

图片

基准测试对比:全面超越现有范式

在AirSim仿真的风车、教堂、塔楼、城堡四类场景中,与主流两阶段方法(Plan3D)和探索式方法(Star-Searcher)相比:

效率提升1.25-3倍:平均飞行时间225-364s,远低于基线方法的400-1000s;

覆盖完整性更高:信息完整性达93.8%-96.5%,较基线提升4.3-56.2个百分点;

可靠性更优:成功率98.8%(79/80次试验成功),显著高于基线方法的60%-75%,且运行稳定性更强(飞行时间标准差小于9ms)。

图片

消融实验验证:关键组件的必要性

通过系统性消融实验,验证了各核心设计的贡献:

跨模态精炼使感知延迟降低51%,避免目标漂移导致的扫描失败;

多模态预测模块的零样本几何重建精度(L1-CD=28.037)优于现有3D补全模型,使飞行效率提升16%-27%;

异步规划架构将障碍响应延迟控制在30ms内,成功率提升38.8%;

时序一致性设计使飞行时间减少64.9%,避免冗余折返。

图片

FlyCo的核心价值在于构建了一套“基础模型+机器人系统”的融合范式,通过感知-预测-规划的闭环设计,首次实现了低代价、高效率、高安全性的开放世界无人机3D扫描。其创新不仅体现在技术层面,更在于为基础模型与机器人系统的融合提供可扩展的架构蓝图:

无需海量飞行数据训练,通过模块化设计实现基础模型知识与飞行技能的高效协同;

支持灵活的模块替换,可直接融入未来更先进的基础模型与规划算法,具备良好的扩展性;

显著降低了无人机3D扫描的操作门槛,从专家依赖变为人人可用,为基础设施巡检、文化遗产保护、灾害应急响应等领域的规模化应用提供了可能。

基于当前成果,后续研究可着重从以下维度延伸:

进一步挖掘文本信息的表达潜力,支持更复杂的自然语言指令,优化数据平衡策略,增强语言模态的指导作用;

推进预测模块的机载部署,通过模型压缩与知识蒸馏技术,降低对地面设备和通信的依赖,拓展在通信受限环境中的应用;

探索多无人机协同扩展,解决城市尺度或大型自然环境的扫描需求,实现从单结构自主到大规模协同自主的跨越。

FlyCo的代码与开发环境将在未来开源,有望推动自主扫描技术在更多领域的落地,为开放世界机器人自主系统的发展提供重要参考。

论文标题:FlyCo: Foundation Model-Empowered Drones for Autonomous 3D Structure Scanning in Open-World Environments

论文作者:Chen Feng(1) , Guiyong Zheng(2) , Tengkai Zhuang(3) , Yongqian Wu(3) , Fangzhan He(3) , Haojia Li(1) , Juepeng Zheng(2) , Shaojie Shen(1) , and Boyu Zhou(3)

论文链接:https://arxiv.org/abs/2601.07558

论文视频:https://www.bilibili.com/video/BV15traBUEWB/

1

周博宇简介

图片

周博宇,南方科技大学机械与能源工程系助理教授(副研究员),博士生导师。微分智飞(杭州)科技有限公司联创。2018年本科毕业于上海交通大学,2022年博士毕业于香港科技大学机器人研究所。主要从事空中机器人、导航、主动感知、操作、多机相关研究。近年来在IEEE TRO、TASE、RAL、RSS、ICRA、IROS等机器人领域顶级期刊和会议发表论文四十余篇。代表成果获得机器人顶刊IEEE TRO最佳论文奖(亚洲单位首次),RAL最佳论文奖,ICRA无人机最佳论文提名。多个工作被列为TRO受欢迎论文、RAL 受欢迎论文 (排名第一) 。担任IEEE TRO编委,入选斯坦福全球前2%顶尖科学家榜单。成果多次被 IEEE Spectrum,Tech Xplore等知名科技媒体报道,开源项目受到广泛关注。

2

关于我们

图片

微分智飞(杭州)科技有限公司,以让飞行机器人“连接千行百业,飞入千家万户”为使命,致力于打造全球领先的飞行具身大脑及通用群体智能系统。公司依托自主导航、具身决策、端到端控制及群体智能四大核心技术,突破环境限制,打造面向多样复杂场景的飞行机器人基座模型,驱动构建应用于家庭、工业、教育、城市与自然空间的“空天智能终端”。

非凸空间是微分智飞旗下教育品牌,以通用飞行平台产品为核心,致力于为高校、科研院所及应用单位提供全方位科研教育解决方案,涵盖实验室建设、专业建设、赛事支持、课程培训、人才培养及基金课题合作等领域,助力飞行机器人科研与教学更专业、更高效。

👇更多前沿内容,请关注👇