发布时间:2026-05-21
作者:光明实验室
浏览:113次
近日,光明实验室智能飞行与安全控制团队的论文“DS-LABRNav: Land-Air Bimodal Robot Navigation with Traversable Obstacles Base On Vision-Language Model”成功被机器人领域顶级期刊IEEE Robotics and Automation Letters (RA-L) 2026正式接收。该研究由光明实验室和深圳大学联合培养博士生李永杰,在刘洲研究员和李清泉院士的指导下完成。
DS-LABRNav: Land-Air Bimodal Robot Navigation with Traversable ObstaclesBase On Vision-Language Model
Yongjie Li, Wenshuai Yu Member, IEEE, Molong Duan, Bo Zhang, Zhou Liu*,and Qingquan Li*
研究背景
陆空两栖机器人在救援、侦察和物流等领域具有巨大的应用潜力。然而,现有的自主导航方法大多依赖纯几何表示或基础的语义标签。这意味着,在它们眼中无法区分可穿越的窗帘与坚硬的墙壁。这种缺乏物理常识推理能力的表现,导致机器人面对可穿越障碍时,只能频繁进行不必要的起飞。对于陆空两栖机器人来说,飞行带来的能量消耗远高于地面行驶。近年来,视觉语言模型(VLM)展现出了强大的零样本场景理解能力。但如果让机器人在导航时持续不断地向云端VLM发起查询,又会带来极高的计算延迟,无法满足实时导航的需求。
为了平衡高阶语义推理和低延迟实时性的需求,研究团队提出了DS-LABRNav 框架,首次将视觉语言模型(VLM)集成到陆空两栖机器人的路径规划中。通过事件触发机制和模态引导的地图更新,该框架使机器人在面对柔软障碍物或未知斜坡时,能够选择陆地模态穿过而不是起飞,在一些特定场景最高可节省高达70%的能量。该框架的亮点在于只有当局部规划器发现前方道路被阻挡,并准备规划一条飞行轨迹跨越障碍时(即满足特定的高度阈值),事件触发机制才会被激活。此时,系统会截取一段包含动态物理变化(如窗帘随风摆动)的视觉序列图像,并配合特定的提示词发送给后端的Align-DS-V模型进行推理。并根据图像判断障碍物是柔软可穿越的(输出Land),还是坚硬不可穿越的(输出Fly)。 基于VLM的判断,机器人更新其内部的3D地图,从而引导规划器重新规划出一条更节能的地面轨迹。
实验验证
为了验证该框架的有效性,团队自研了一套重3.4kg的陆空两栖机器人硬件平台,并在一系列真实场景中进行了测试。
面对柔性横幅,传统方法纷纷选择起飞跨越(红色轨迹),而本文方法(绿色轨迹)通过VLM敏锐地察觉到这是软材料,直接在地面模式下穿过,能耗大幅降低。在遇到未知的户外斜坡时,传统基于几何方法由于缺乏对地形材质的理解,将其视作不可逾越的障碍并选择起飞。DS-LABRNav则成功识别了斜坡的地面可行驶属性,全程保持地面行驶模式,与SOTA基线方法相比,实现了约70%的惊人节能效果。
总结与未来展望
DS-LABRNav将视觉语言模型用于陆空两栖机器人“模态决策”和“可通行性推理”的导航框架。它通过事件触发机制巧妙地克服了大模型带来的延迟问题,让机器人在复杂的现实世界中真正做到了双模态决策,极大提升了系统的续航和作业效率。
目前框架仍依赖云端VLM推理,未来工作计划将轻量级的VLM部署到机器人边缘计算设备上,以实现完全离线的语义推理,并应对更加动态复杂的未知环境。
论文信息:
Title: DS-LABRNav: Land-Air Bimodal Robot Navigation with Traversable Obstacles Base On Vision-Language Model
Authors: Yongjie Li, Wenshuai Yu, Molong Duan, Bo Zhang, Zhou Liu, Qingquan Li
Journal: IEEE Robotics and Automation Letters (RA-L)
Accepted: April 2026
END
素 材 丨智能飞行与安全控制团队
编 辑 丨 李沛昱 曾小告
责 编 丨 陈贞儒
欢迎投稿、建议:gmlab@gml.ac.cn