论文代表图：figure-02-p004-01

SatNav：面向长程无人机视觉语言导航的可扩展卫星基准

作者

快速导读：SatNav 从卫星影像与 OSM 自动构建 18 城、59 场景、约 118K 长程 UAV VLN 轨迹，定义 Boundary/Landmark/Route 三任务族，并配套 SwiftVLN 记忆消融与卫星到真机迁移实验（NeurIPS 2026）。

城市无人机执行巡检、巡逻或物流时，往往要在数公里尺度上跟着自然语言走很久：记得自己绕湖走了半圈还是一圈、左转时地标该落在视野哪一侧、第几座桥该转弯。室内导航基准空间太小；许多空中基准又绑在昂贵三维重建上，难把地理多样性做大。

SatNav（arXiv:2609.31507 ，NeurIPS 2026 Evaluations and Datasets）用高分卫星与 OpenStreetMap 自动构建约 118K 长程回合，覆盖 18 城 59 场景，平均轨迹约 379 m，并定义 Boundary、Landmark、Route 三任务族。项目页 https://eku127.github.io/SatNav/ 。配套 SwiftVLN 做记忆消融，并展示卫星训练策略向真飞 UAV 观测迁移。

英文题目：SatNav: A Scalable Benchmark for Long-Horizon UAV Vision-Language Navigation from Satellite Imagery

论文出处：arXiv 每日论文精选 · arXiv:2609.31507

原始论文：PDF / 论文页面

这篇论文解决什么问题？

长程 VLN 的核心压力来自记忆与时空一致性：智能体必须把当前观测接到过去决策，并在开放地图里对停车时机负责。

依赖网格化三维资产的空中基准，扩展到多城市时成本陡增，自动大规模造题也难。

若观测主要反映道路与区域布局而非细碎三维，卫星近天底裁剪就能成为可扩展的近似，从而把评测重心放到地理推理与长记忆，而不是渲染流水线。

核心创新

  • 不依赖三维重建，用卫星影像与 OSM 自动构建城市级长程 UAV VLN 基准（约 118K / 18 城）。
  • 设计 Boundary、Landmark、Route 三任务族，分别压测环线进度、地标相对朝向与路径计数决策。
  • 提供 SwiftVLN 可切换记忆模块与卫星到真飞 UAV 迁移实验，连接基准与部署现实。

方法概览

对齐卫星与 OSM 后抽取边界、地标与道路/水系图线索，经几何与任务规则过滤生成位姿序列，再用线索接地的自然语言指令打包成 VLN episode。观测由 rotate-and-crop 得到。任务族：Boundary（partial-arc/full-loop/extended-loop）、Landmark（one/two-turn）、Route（road/waterway/hybrid）。划分 Train / Test Seen / Test Unseen。SwiftVLN 在 StreamVLN/ms-swift 上重构双记忆（短时滑动窗口对话 + 长时历史），并系统消融重叠窗口、采样、位姿、地图/聚类压缩等。卫星到 UAV 用轻量 token 级适配器对齐视觉表征。

  • 数据管线（图2）：对齐卫星与 OSM → 抽取闭合区域、显著点、地标、道路/水系图节点 → 按任务族生成长程位姿轨迹 → 把线索序列写成自然语言指令 → 打包标准 VLN episode。观测用 rotate-and-crop。
  • Boundary：沿湖/场馆/建筑综合体边界飞行，含 partial-arc、full-loop、extended-loop，强调进度追踪与终点停止。Landmark：在转弯处旋转直到指定地标落入 egocentric 视野的指定区域。Route：沿道路、水系或混合路径，按“第一座桥左转/第三个路口停”等计数线索决策。
  • 划分：Train 约 88.7%（15 城 56 场景）；Test Seen 用训练场景新轨迹新指令；Test Unseen 用三座新城市新场景。词表约 4,740，平均指令约 41 词。
  • SwiftVLN：短时多轮对话滑动窗口（容量 Nw，重叠 No）+ 长时历史记忆；可替换随机/时间偏置采样、初始帧、相对位姿 FiLM、地图记忆、全局/分段 token 聚类等。
  • 卫星到 UAV：在配对影像上训练 token 级 Transformer 适配器，用对比与余弦损失把 UAV 视觉表征拉近卫星分支，再接到导航策略。

逐图理解论文

尺度缺口

尺度缺口
Figure 1: Overview of SatNav. The benchmark spans diverse cities and scenes, and introduces three task families: Boundary (partial-arc, extended-loop, full-loop), Landmark (one-turn, two-turn), and Route (road, waterway, hybrid). During navigation, the agent receives an instruction and a satellite crop generated by rotate-and-crop operations, then predicts and executes actions in the satellite map.

图1总览 SatNav：118K/59 场景/18 城与 Boundary、Landmark、Route 示意，右侧给出旋转裁剪观测与环体育场指令示例。适合作为特色图与开篇主图。

SwiftVLN

SwiftVLN
Figure 4: Overview of the SwiftVLN framework.

图4展示 SwiftVLN：历史帧进 Memory Module，滑动窗口视觉编码，指令 tokenization，一并送入 LLM 预测动作，对应可切换记忆实验平台。

基准结果

基准结果
Figure 5: A real-world Boundary task around a building with a grey roof.

图5为真机 Boundary 示例：灰顶白楼环绕指令与一系列天底观测切片，支撑卫星训练策略迁移到真实 UAV 观测的叙事。

实验如何设计？

  • 指标：SR、OS、SPL、NE、Steps。目标 10 m 内停车计成功，Landmark 放宽到 30 m；Boundary 需先离开起点超过 20 m 再返回才计。
  • 基线含 Seq2Seq、CMA、OpenFly、NaVILA、UniNaVid、StreamVLN 等；标星表示在原导航检查点上继续 SatNav 微调。
  • SwiftVLN 以通用 Qwen2.5-VL-3B 为骨干做记忆消融。
  • 真机：DJI Matrice 4D，图传至本地 RTX 4090 在线推理；主文报告 18 条真实回合（每任务族 6）。
  • 质量：人工审计 3,000 候选回合的指令—轨迹一致性。

关键结果与论文证据

  • Seen 到 Unseen 全线掉点，说明新地理区域泛化仍难；多数方法 SR 与 SPL 接近，一旦偏航很难在开放卫星地图中挽回（表1，页8）。
  • StreamVLN* 取得最高 SR/SPL/OS（Seen SR 67.3，Unseen 58.4）；SwiftVLN 为 65.8 / 53.7，同时给出两侧最低 NE（34.05 / 62.29），并作为可控消融载体（页8）。
  • 去掉长时记忆 SR 两侧都降 21.3 pp；短时窗口重叠 No=4 提升明显（Seen +5.5，Unseen +6.6）；分段 token 聚类（STC）优于全局聚类（GTC）（表2，页9）。
  • 真机上加视觉适配器使 overall SR 从 38.9 升到 55.6，Route 任务从 50.0 到 83.3（表3，页9）；图5展示真实 Boundary 环楼任务。
  • 3,000 候选人工审计接受率 94.3%（Boundary/Landmark/Route 拒稿率约 5.9/8.9/2.3%）（表8，页19）。

阅读时需要注意

  • 卫星近似丢细节几何与部分飞行物理；不能替代全部真实空中感知。
  • 可靠停车与 Unseen 泛化仍是主痛点；部分记忆压缩实现受共享编码器牵制。
  • 真机样本有限，域适应仍需更多工况与扰动评估。

关联工作

  • 室内长程与多阶段 VLN 提供记忆评测思想，但尺度不同。
  • OpenFly、CityNav 等空中基准构成规模与资产路线对照。
  • StreamVLN、地图记忆与历史压缩方法为 SwiftVLN 消融提供直接前序。

发表评论