编者推荐
从“会飞”到“会做”,如何让无人机成为空中的作业机器人?本期非凸科普分享的论文,构建了一套以末端执行器为统一接口的空中操作框架,实现无人机与机械臂的协同控制,并支持从人类遥操作示范中学习自主操作策略。
【论文亮点速览】
· 统一架构:以末端执行器状态为统一接口,解耦高层策略、全身控制与硬件平台,提升系统的任务通用性。
· 协同控制:提出融合 L1 自适应补偿的 EE-centric 全身 MPC,实现机体与机械臂的高精度协同控制。
· 策略学习:打通末端遥操作、示范采集与 ACT 模仿学习,使人工控制和自主策略共享同一控制接口。
· 多任务验证:通过书写、插孔、抓取搬运和更换灯泡等实验,验证框架在多类空中操作任务中的有效性。
详细内容,非凸空间和你一起解读!
空中操作的难点,不在于将一条机械臂挂到无人机上。无人机本身是浮动基座,机械臂运动会反过来扰动飞行器。而且,一旦进入接触、插入、旋拧等操作阶段,系统必须同时处理飞行稳定、机械臂运动与末端精度。
以“换灯泡”为例,一个看似简单的任务实际上包含靠近、接触、抓取、旋转、插入等多个动作原语。过去很多空中机械臂系统仅围绕单一任务定制硬件和算法,因此在一个任务上可以做得很强,却很难直接复用于另一类任务。
针对这一问题,Carnegie Mellon University 与 Pennsylvania State University 的研究团队提出了 Flying Hand:用一个“末端执行器中心”的统一接口,把“手应该怎么动”和“无人机与机械臂具体如何配合”分开。系统由全驱动六旋翼、4 自由度机械臂、末端执行器中心的全身模型预测控制器,以及遥操作/模仿学习高层策略组成,并在真实平台上展示了写字、插孔、旋阀、抓放和灯泡拆装等多种任务。

图 1|Flying Hand 的代表性空中操作任务(原论文 Fig. 1):写下“2025”、插孔、抓放,以及灯泡拆装
01
从任务定制到同一系统处理多种操作
论文所关注的空中操作任务十分多样,包括接触环境、抓取物体、执行插入操作,以及转动阀门、开关门等。真正的难点在于,这些任务需要的基本动作模式各不相同,而传统系统的硬件、控制器与任务逻辑又高度耦合,因此每更换一种任务,都可能需要重新设计控制器,甚至改造硬件平台。
为降低任务逻辑与具体硬件之间的耦合,Flying Hand 借鉴通用机械臂以末端执行器为中心的控制思路,将末端执行器在三维空间中的位置和姿态作为统一指令。高层策略只需决定“这只手下一步到哪里、朝向哪里”,无人机与机械臂如何协调运动,则交由底层控制器统一处理。
视频1 | 多类型空中操作任务验证
02
Flying Hand:
高层只管手去哪,底层负责整机配合
整套系统的信息流可以概括为:高层提出末端执行器的运动目标,底层负责将目标转化为整机动作。无论指令来自人类遥操作还是学习得到的自主策略,高层最终输出的都是目标末端状态。随后,以末端执行器为中心的全身模型预测控制器(MPC)统一协调飞行器和机械臂,使末端执行器按照目标轨迹运动;L1 自适应控制则在线估计并补偿模型误差、机臂耦合效应和外部扰动。

图 2|Flying Hand 整体框架(原论文 Fig. 2):遥操作或 ACT 模仿学习输出目标末端状态,全身 MPC 与 L1 自适应共同生成无人机和机械臂的执行控制
采用这种统一接口后,高层策略只需要决定“手应该怎样运动”,不必关心六个旋翼如何分配推力,也不必逐一计算机械臂各关节的转角。同一个末端控制接口既可以接收游戏手柄的遥操作指令,也可以接收基于 Action Chunking with Transformers(ACT)的模仿学习策略输出,从而将人工控制、示范数据采集和自主策略执行串联在同一套系统中。
03
为“精细化作业”设计的飞行平台
硬件底座是一架全驱动六旋翼。与主要沿机体系推力方向产生力的常规多旋翼不同,论文提到的平台可以独立产生六维力和力矩,使飞行器在接触操作中能够更灵活地调整位置和姿态。机体上安装 4 自由度机械臂,其中包含三个俯仰关节和一个滚转关节,可根据任务更换不同末端工具。

图 3|Flying Hand 硬件系统(原论文 Fig. 3):
①全驱动六旋翼,②4 自由度机械臂,③两台 Intel RealSense 相机,④可更换末端夹具
感知方面,系统在飞行器基座和末端附近各布置了一台 RealSense RGB-D 相机。前者提供较大的整体视野,后者提供操作区域近景。在真实实验中,无人机位姿主要由室内运动捕捉系统结合 PX4 机载惯性测量单元获取,机械臂关节角由编码器测得,再通过正运动学计算末端状态。
04
为什么要全身 MPC:
末端误差从“十厘米级”压到“四厘米级”
控制器使用 ACADOS 实现,离散步长为 25 ms、预测时域为 2.5 s,并以 100 Hz 滚动求解。实验比较三种方案:完整方法、去掉 L1 自适应,以及完全去掉 MPC、仅通过逆运动学规划并让无人机使用级联 PID 跟踪。三种末端轨迹均持续 60 s,每条轨迹重复 3 次并统计均方根误差。

表 1|末端执行器轨迹跟踪误差(原论文 Table IV,单位:cm,均值 ± 标准差)
完整方法在悬停、椭圆和“8”字轨迹上的误差分别为 1.00 ± 0.11 cm、3.98 ± 0.41 cm 和 4.62 ± 0.58 cm。去掉 L1 自适应后,椭圆和“8”字轨迹误差增至 6.67 cm 和 6.28 cm;去掉 MPC 后则进一步增至 11.25 cm 和 9.64 cm。
论文将这一差距主要归因于飞行器与机械臂同时运动时的动力学耦合:逆运动学本身无法描述无人机动力学,而 L1 自适应则用于补偿模型失配造成的瞬态和稳态误差。
05
同一平台写字、旋阀、抓放、换灯泡
Flying Hand 的亮点不仅是轨迹跟踪精度,还有将同一套底层框架用于多种性质明显不同的任务。墙面书写要求末端在接触状态下沿约 3 m × 0.8 m 的区域写出“2025”;旋阀任务需要抓住把手并沿直径约 20 cm 的圆周旋转;抓放实验则覆盖螺丝刀、笔、胶带和胶水瓶等不同形状物体。

图 4|多种遥操作任务(原论文 Fig. 9):空中书写、阀门旋转与抓放均由同一末端中心接口完成
灯泡任务更能体现长时序操作的组合性。这里不只是展示“碰一下灯泡”,还分别完成了拆卸和安装:第一次飞行抓住原灯泡并旋下;第二次飞行将新灯泡插入灯座、旋紧,并按下按钮点亮。需要特别说明的是,这一演示由两次飞行组成,而不是一次连续飞行完成全部换灯泡流程。

图 5|长时序灯泡拆装任务(原论文 Fig. 10):上半部分为拆卸,下半部分为安装新灯泡并按键点亮
06
从遥操作数据到自主策略:
为什么学习“末端空间”更有效
末端中心接口同时承担了数据采集接口的角色。作者采用 ACT 作为模仿学习网络:策略读取基座相机与末端相机的 RGB 图像以及当前末端状态,再输出未来一段目标末端状态序列。两路 RGB 图像分辨率均为 640 × 480,并由 ResNet-18 提取视觉特征。
在 MuJoCo 中,作者选择插孔、旋阀、抓放和打开并取出物体四类任务,每个任务用脚本策略采集 50 个演示回合,每回合约 12 s、控制频率 50 Hz;随后分别训练末端空间 ACT 和直接在无人机位姿 + 机械臂关节空间中学习的 ACT,并各进行 50 次测试。

表 2|模仿学习仿真成功率(原论文 Table V):EE 为末端空间策略,Joint Space 为无人机位姿与机械臂关节空间策略
结果,不是所有任务都出现了差距,旋阀任务两种策略均为 50/50。真正拉开差距的是对几何精度和多技能衔接更敏感的任务:抓放为 48/50 对 38/50,插孔为 23/50 对 9/50,“打开并取出物体”为 17/50 对 8/50。这说明末端空间表示并不是简单减少输出维度,而是在这些任务中把策略学习直接对准了物体交互真正关心的几何量。
07
真机自主插孔:
25 段示范,未见孔位上 4/5 成功
论文最后把“遥操作采集 → 模仿学习 → 真机执行”完整串了起来。作者在不同水平孔位上采集 25 段人类遥操作示范,每段约 2 min,合计约 50 min 的有效操作数据、约 2 h 的实际采集时间;训练前将数据下采样到 10 Hz,ACT 的 action chunk size 设为 100,并训练 100,000 个 epoch 后选择验证损失最低的策略。

图 6|真机自主插孔过程(原论文 Fig. 12):起飞、前飞、插入、张开夹爪、后退与降落构成一次完整任务流程
测试时,孔的水平位置随机变化,并且这些位置在训练中没有出现。5 次真机测试中,策略成功完成 4 次插孔,成功率为 80%。
唯一失败的一次中,机械臂把插杆推到了孔口边缘,但没有最终插入。因此,论文指出,学习策略已经展示出潜力,但复杂空中操作仍需要更可靠的失败恢复机制。

图 7|插孔数据采集与随机测试孔位(原论文 Fig. 13):上排为示范采集的不同孔位示意,下排为训练未见随机孔位;5 次测试中 4 次成功、1 次失败
08
这还不是完全户外自主的飞行机械手
论文中也明确写出了当前的局限性。
所有真实实验均在室内运动捕捉系统下完成,因此目前还不能把它描述为依靠机载定位在室外自主作业的完整系统。现有安全约束也是基于模型构造,作者把机载感知、实时障碍检测与安全约束生成列为后续方向。
硬件本身也限制了末端精度。作者观察到机械臂舵机约0.5°的回差,对应末端任务空间约 2 cm 的控制死区,并会在快速飞行操作时带来不可避免的振动。
论文也强调,虽然模块化接口具有跨平台潜力,但仍需要更多真实平台实验进一步验证这种通用性。
开源方面,截至 2026 年 8 月,官方 GitHub 的 TODO 列表显示硬件设计已经公开,而 MuJoCo 仿真和 MPC 控制器仍标记为待开放。因此,当前仓库更适合作为硬件结构参考,还不能直接视为已经完整开源、可一键复现的控制与仿真工程。
结语
Flying Hand 的关键:
不是装机械臂,而是统一操作接口
Flying Hand 的亮点不在于某个单项演示,而在于以末端执行器为统一接口,打通任务指令、全身控制、遥操作和模仿学习:高层生成末端目标,MPC 协调飞行器与机械臂,L1 补偿模型误差与扰动。
这种设计将“做什么”与“怎么做”解耦,使同一平台能够完成接触、抓取、插入、旋转等多类任务,并从人类示范中学习自主策略。
尽管系统仍依赖室内动捕,并受到模型误差和执行器回差等限制,但它已经给出了一条清晰路径:让无人机从“带着手飞”走向“围绕手的任务协调全身”。
论文信息:Guanqi He, Xiaofeng Guo, Luyi Tang, Yuanhang Zhang, Mohammadreza Mousaei, Jiahe Xu, Junyi Geng, Sebastian Scherer, Guanya Shi, “Flying Hand: End-Effector-Centric Framework for Versatile Aerial Manipulation Teleoperation and Policy Learning”. 文中配图均截取自原论文。
原文链接(点击左下角“阅读原文”):
https://www.roboticsproceedings.org/rss21/p130.pdf
关于我们
微分智飞(杭州)科技有限公司,以让飞行机器人“连接千行百业,飞入千家万户”为使命,致力于打造全球领先的飞行具身大脑及通用群体智能系统。公司依托自主导航、具身决策、端到端控制及群体智能四大核心技术,突破环境限制,打造面向多样复杂场景的飞行机器人基座模型,驱动构建应用于家庭、工业、教育、城市与自然空间的“空天智能终端”。
非凸空间是微分智飞旗下教育子品牌,以通用飞行平台产品为核心,致力于为高校、科研院所及应用单位提供全方位科研教育解决方案,涵盖实验室建设、专业建设、赛事支持、课程培训、人才培养及基金课题合作等领域,助力飞行机器人科研与教学更专业、更高效。
END

更多前沿内容 请关注公众号