자동비행: 야외 UAV 자율 내비게이션을 위한 비전‑언어‑액션 모델

초록

AutoFly는 RGB 영상만을 이용해 가짜 깊이 정보를 생성하고, 이를 언어 명령과 결합해 UAV가 목표 방향을 따라 장애물을 회피하며 자율 비행하도록 설계된 엔드‑투‑엔드 비전‑언어‑액션(VLA) 모델이다. 기존의 상세 지시 기반 VLN과 달리, 거친 위치·방향 힌트만으로 연속적인 계획·장애물 회피·물체 인식을 수행한다. 새롭게 구축한 시뮬레이션·실세계 혼합 데이터셋을 활용해 두 단계 학습 전략을 적용했으며, 실험 결과 성공률이 기존 최첨단 VLA 베이스라인보다 3.9% 향상되었다.

상세 분석

AutoFly 논문은 UAV 자율 비행을 위한 비전‑언어‑액션(VLA) 프레임워크를 제안하면서, 기존 VLN 연구가 가지고 있던 “세부 지시‑종속” 한계를 근본적으로 탈피한다는 점에서 의미가 크다. 첫 번째 핵심 기여는 pseudo‑depth encoder이다. RGB 이미지를 입력으로 Depth Anything V2와 같은 최신 단일 이미지 깊이 추정 모델을 활용해 가짜 깊이 맵을 생성하고, 이를 패치 단위로 토큰화한 뒤 비전 토큰과 차원 및 공간 정보를 맞추어 융합한다. 이렇게 얻어진 깊이‑인식 특징은 UAV가 3차원 공간에서 고도 제어와 거리 판단을 정확히 수행하도록 돕는다. 특히 실제 UAV에 깊이 센서를 부착하는 비용·중량 문제를 회피하면서도, 시뮬레이션‑실세계 간 도메인 갭을 완화한다는 실용적 장점이 있다.

두 번째 핵심은 progressive two‑stage training이다. 1단계에서는 시뮬레이션 환경에서 대규모 자동 수집 트래젝터리를 이용해 시각‑언어‑행동 정합성을 사전 학습한다. 여기서는 pseudo‑depth 토큰과 언어 토큰을 멀티모달 트랜스포머에 입력해 행동 정책(속도·회전 명령) 예측을 수행한다. 2단계에서는 실제 야외 데이터(실제 UAV 촬영 영상 및 현장 지시)를 사용해 도메인 적응 및 미세 조정을 진행한다. 이 과정에서 행동 디코더를 별도 디토크나이저(action de‑tokenizer)로 구현해 연속적인 저‑레벨 제어 명령(v, ω 등)으로 변환한다.

데이터 측면에서 저자들은 Autonomous Navigation Dataset을 새롭게 구축하였다. 기존 VLN 데이터셋(R2R, RxR 등)은 “명령‑추적”에 초점을 맞추어 길고 상세한 지시문과 정적인 경로를 제공한다. 반면 AutoFly 데이터셋은 (1) 연속적인 장애물 회피·동적 경로 계획·물체 인식 워크플로우를 포함한 트래젝터리, (2) 시뮬레이션과 실제 야외 촬영을 혼합한 100K 규모의 멀티모달 샘플, (3) 평균 12 m 길이·18 % 장애물 충돌 횟수 등 현실적인 난이도를 반영한다. 데이터셋 통계는 기존 2‑DoF UAV VLN 데이터와 비교해 트래젝터리 수·다양성·실제 환경 비중이 크게 향상된 것을 보여준다.

실험 결과는 성공률(Success Rate) 기준으로 AutoFly가 최신 VLA 베이스라인(예: OpenVLA, LLaVA‑based 모델)보다 3.9%p 상승했으며, 시뮬레이션과 실제 환경 모두에서 일관된 성능을 유지한다. 특히 장애물 회피 정확도와 목표 도달 시간에서 유의미한 개선을 보였으며, ablation study를 통해 pseudo‑depth encoder와 두 단계 학습이 각각 1.8%p, 1.5%p의 성능 향상에 기여함을 입증했다.

전반적으로 이 논문은 (1) UAV 특유의 3‑D 공간 인식을 위한 깊이‑인식 멀티모달 설계, (2) 실제 운용에 가까운 데이터와 학습 전략, (3) 엔드‑투‑엔드 행동 생성까지 아우르는 통합 파이프라인을 제시함으로써, 비전‑언어‑액션 연구를 실세계 UAV 자율 비행으로 확장하는 데 중요한 이정표를 제공한다. 향후 연구에서는 더 큰 규모의 라벨‑프리 언어 지시와 강화학습 기반 장기 계획 통합, 그리고 멀티‑UAV 협업 시나리오 적용이 기대된다.