非凸科普|IMU 基础模型 TartanIMU 代码开源!车、人、狗、无人机共用一套 "运动直觉"

发布时间:2026.09.03
分享:

编者推荐

TartanIMU 提出了一种面向多种机器人的通用惯性定位方法,将汽车、无人机、机器狗和手持设备等平台的运动数据放在一起学习。过去不同机器人通常需要分别训练定位模型,而这项工作让它们可以共享对加速、转弯和颠簸运动的理解,换到新平台时不用完全从头开始。

重点!代码近期已开源。

图片

图1 | Tartan IMU 论文信息

在深入正文之前,想请你先思考:

人类的运动技能是可以迁移的——会骑自行车的人学电动车更快。机器人的“运动直觉”也能跨平台迁移吗?

01

困境:IMU天生会“撒谎”   

一台机器人在未知环境中穿行。它的IMU每秒输出200组加速度和角速度数据。从数学上看,只要对加速度做两次积分,就能得到位移;对角速度积分,就能得到姿态变化。

但现实远没有那么理想。

传感器噪声、温度漂移、量化误差、安装偏差——任何一个环节的微小误差,都会在二次积分中被指数级放大。3秒后误差开始滚雪球,5秒后轨迹已经严重偏离真实路径。 这是惯性导航最根本的“死穴”。

惯性导航的核心矛盾在于:IMU告诉你“现在在加速”,但你想知道的是“现在在哪里”——从导数还原函数,对噪声来说是灾难性的。

过去几十年,解决方案通常是引入外部传感器(GPS、视觉、激光雷达)来约束漂移。但纯惯性定位(仅靠IMU)仍然是一个极具挑战的问题。

深度学习的出现带来了新希望。2018年以来,研究者尝试用神经网络直接从IMU信号回归速度或位置,绕开积分过程。但这些方法有一个共通的局限:它们都是“专科生”。 在行人数据上训练的网络,部署到车辆上会失效;在无人机上训练的网络,移植到四足机器人上同样失灵。每换一个平台,都需要重新采集数据、重新训练模型。

不同机器人的IMU信号背后,是否共享着某种通用的“运动语法”?

图片

图2 | Tartan IMU基础模型的t-SNE可视化显示

02

破局:一个模型,四种 “身体”   

CMU的研究团队提出了 TartanIMU,论文定义为 “首个IMU基础模型” 。核心理念是:不再为每种机器人单独训练模型,而是训练一个覆盖多种运动模式的“通才”。

研究团队从公开数据集中收集了超过100小时的IMU数据,涵盖四类平台:

· 轮式车辆(地面行驶)

· 手持设备(人体运动)

· 四足机器人(步行/小跑/跳跃)

· 无人机(飞行机动)

网络采用 "共享骨干 + 专属头" 设计:共享骨干(ResNet+LSTM)提取通用运动特征,四个专属头分别输出各平台的速度和协方差。

图片

图3 | Tartan IMU的三个学习阶段

t-SNE 可视化显示四个清晰的簇 —— 红车、绿无人机、灰机器狗、蓝手持。它们被区分开,却被统一在同一个 "坐标系" 里。 这说明网络确实学到了不同平台共通的运动表征,同时保留了各自的特征差异。

💡 不同机器人的运动数据表面差异巨大,但在足够高的抽象层次上,它们共享同一套 "运动语法"。

03

核心实验一:零微调跨平台部署   

TartanIMU最直接的验证是:预训练完成后,不经过任何微调,直接部署到四种平台上测试。

图片

图4 | Tartan IMU与其他专用IMU模型的定性分析

这不是一个“公平”的对比——实际上对TartanIMU很不利。对比的基线模型(AI-IMU、TLIO、IMO、RNIN-VIO)都是在各自平台上专门训练和调优过的“专科”模型。而TartanIMU的预训练数据来自所有平台,但部署时没有针对任何平台做额外调整。

实验结果(原文Table 1):

图片

平均绝对轨迹误差(ATE)降低36%,相对轨迹误差(T-RTE)降低41%。

特别注意四足机器人的结果:从3.61米降到1.46米,误差减少了近60%。这意味着:四足机器人从“其他平台的数据”中获益最多——可能是因为四足运动模式(周期性步态+冲击)在车辆和手持数据中找到了部分共性表征。

代码已开源

TartanIMU 论文代码已于近期公开,包含预训练模型权重、LoRA 微调脚本和在线自适应完整实现。做惯性导航、机器人、无人机方向的同学可以直接上手复现。

· 论文原文:

https://superodometry.com/tartanimu

扫码添加非凸小助手获取开源代码:

图片

04

核心实验二:数据多样性 vs 数据量   

消融实验揭示了一个更本质的规律。

团队用同样的网络架构做了对比:一组只用单一平台数据训练(如仅用四足数据),另一组用全部平台数据联合训练。在四足机器人测试序列上:

图片

同样的规律出现在所有平台上。原文给出的平均改善为:ATE平均降低42%,T-RTE平均降低71%。

这组数字揭示了一个深层规律:对于IMU感知模型,数据多样性比数据量更重要。 让模型“看到”更多不同类型的运动,比堆叠同一类型的数据更有效。

数据多样性本身就是一种“知识”。让模型见过车跑、人走、狗跳、无人机飞,它才能真正理解什么是“运动”。

这个发现对飞行具身智能意味着什么?如果飞行数据采集困难(成本高、风险大、专业飞手稀缺),是否可以用地面数据“帮助”无人机?

视频1 | 各“专科”模型与Tartan IMU预训练模型的定性姿态对比

05

发现两种进化机制   

LoRA 微调 —— 换新平台只补几节课

遇到全新平台时,只训练110 万(1.1M)个新参数(模型总量的极小比例),就能完成适配,不用完全从头开始。从地下矿井数据集适配到越野驾驶数据集,达到同样精度的迭代次数比 SOTA 方法少 33%,且不会 "灾难性遗忘" 旧任务。

图片

图5 | IMU预训练模型与SOTA模型在未见数据集上的泛化能力比较

亮眼实验二:在线自适应 —— 边跑边学,105 秒进化

模型原本只接触过最高约5 米 / 秒的运动数据,之后被部署到最高15 米 / 秒的越野车辆上。面对从未见过的新车辆和更快速度,系统在运行过程中不断更新,仅用约105 秒便明显改善定位结果。

图片

图6 | 在线自适应

推理速度维持在200 FPS,满足实时性需求。

💡 模型不应该是 "出厂即定型" 的静态产物,而应该在每一次飞行、每一次行驶中持续进化。

06

飞行具身智能的三个启发  

这也是非凸空间在飞行具身智能科研教育中持续关注的方向。

启发一:数据策略——跨平台知识迁移可以缓解飞行数据荒

无人机数据采集成本极高,相比于自动驾驶路测数据的大规模采集,飞行数据的获取天然受限。

用汽车、四足、手持设备的IMU数据一起训练,反而让无人机飞得更准。

这意味着:当飞行数据稀缺时,可以系统性地思考“哪些其他平台的数据可以用来帮助飞行平台”。

启发二:架构范式——“预训练+微调+在线适应”是可复用的方法论

这套范式不只适用于IMU定位。感知、控制、规划等任何需要跨平台泛化的模块,都可以借鉴这个思路——先建底座,再低成本适配,最后在部署中持续学习。

启发三:工程准则——轻量化+实时进化才是真机可用的模型

1.1M 参数适配、200 FPS 推理、105 秒域迁移 —— 三个指标共同指向:模型应在真实世界中边飞边学,而非仿真训练后就固化部署。

这与飞行具身智能追求的方向一致——让飞行器在真实世界中边飞边学,而不是在仿真中训练完成后就固化部署。

TartanIMU最大的价值不是“IMU变准了”,而是它展示了一条通用技术路径:以最小代价构建可跨平台、可持续进化的感知系统。

局限与未来:目前仅覆盖四类平台,团队计划引入混合专家(MoE)架构扩展;在线适应策略基于 GMM 样本选择,复杂非周期运动仍有优化空间;下一步将融合仿真数据,探索 Sim2Real 桥接。

07

写在最后:

不仅是精度提升,更是一种范式   

TartanIMU第一次证明:惯性导航也可以有“通才”。

一个模型统一了车、人、狗、无人机四种运动模式。它的价值不止是精度提升,更展示了一条通用路径:以最小代价构建可跨平台、可持续进化的感知系统。

而现在,代码已经开源。做惯性导航 / 机器人 / 无人机方向的同学可以直接上手,建议收藏备用,也欢迎转给需要的同行。

💡 让每一个会动的机器,都拥有一个通用的 "身体直觉"。

评论互动

图片

①你遇到过 "IMU 漂移" 吗?如何解决的?

②TartanIMU 代码已开源,你打算在什么平台上测试?想试一下非凸α pro平台吗?

欢迎交流!

如果觉得有启发,欢迎  转发  ,我们一起讨论!

论文信息:

Shibo Zhao, Yuanjun Gao, Tianhao Wu, et al. "TartanIMU: A Light Foundation Model for Inertial Positioning", CVPR 2025.

原文链接(点击左下角“阅读原文”):

https://superodometry.com/tartanimu

扫码添加非凸小助手获取开源代码:

图片

关于我们

微分智飞(杭州)科技有限公司,以让飞行机器人“连接千行百业,飞入千家万户”为使命,致力于打造全球领先的飞行具身大脑及通用群体智能系统。公司依托自主导航、具身决策、端到端控制及群体智能四大核心技术,突破环境限制,打造面向多样复杂场景的飞行机器人基座模型,驱动构建应用于家庭、工业、教育、城市与自然空间的“空天智能终端”。

非凸空间是微分智飞旗下教育子品牌,以通用飞行平台产品为核心,致力于为高校、科研院所及应用单位提供全方位科研教育解决方案,涵盖实验室建设、专业建设、赛事支持、课程培训、人才培养及基金课题合作等领域,助力飞行机器人科研与教学更专业、更高效。

  END

图片

更多前沿内容 请关注公众号