생각하는 드론 즉각 착륙 결정을 위한 구현형 AI

초록

본 논문은 대형 시각‑언어 모델(VLM)을 활용해 급작스러운 알람 상황에서 드론이 실시간으로 주변을 인식·추론하고, 안전한 착륙 지점을 선택·실행하는 파이프라인을 제안한다. Unreal Engine 기반 도시 시뮬레이션에서 다양한 장애물·기상 변화를 포함한 벤치마크를 구축하고, 온보드·엣지·클라우드 세 단계의 VLM을 비교 실험한다. 결과는 VLM이 일반적인 규칙 기반 시스템이 다루기 어려운 복합 상황에서도 적절한 착륙 후보를 제시하고, 200 ms 이하의 지연으로 안전 착륙을 수행함을 보여준다.

상세 분석

이 연구는 급작스러운 시스템 알람(예: GPS 스푸핑, 센서 고장, 급변하는 날씨) 상황에서 드론이 사전에 정의된 안전 영역에 의존하지 않고, 실시간으로 환경을 해석해 착륙 지점을 선택하도록 설계된 하이브리드 파이프라인을 제시한다. 핵심은 세 단계 모듈—Surface ID, VLM Ranking, Movement Planner—로 구성된다. Surface ID는 RGB 카메라와 라이다 데이터를 이용해 평탄한 후보 표면을 검출하고, 후보 영역을 이미지 크롭 형태로 VLM에 전달한다. VLM은 사전 학습된 대형 시각‑언어 모델(GPT‑5 Nano, Mini, Full)로, “이 표면이 사람·전선·동적 장애물과 겹치지 않는가”, “착륙 각도가 충분히 평탄한가” 등 자연어 기반 안전 판단을 수행한다. VLM의 출력은 확률적 점수와 설명 텍스트이며, 이를 기반으로 후보를 순위화한다. 최종적으로 Movement Planner는 순위 상위 후보의 3‑D 좌표를 받아 PID 혹은 MPC 제어기로 변환, 고도·속도 제한을 만족하면서 착륙 궤적을 생성한다.

시뮬레이션 환경은 Unreal Engine과 AirSim을 결합해 동적 보행자, 차량, 비, 바람 등 복합 요인을 실시간으로 변화시켰으며, 10가지 도시 시나리오에 걸쳐 1,200회 이상의 알람 이벤트를 테스트했다. 실험 결과, VLM 기반 파이프라인은 전통적인 규칙 기반 시스템 대비 평균 37 % 높은 성공률을 보였으며, 특히 사전에 정의되지 않은 장애물(예: 급작스러운 파편 낙하) 상황에서 VLM이 “표면이 위험하다”는 판단을 정확히 내렸다. 지연 측면에서는 온보드 Nano 모델이 120 ms, 엣지 Mini 모델이 180 ms, 클라우드 Full 모델이 250 ms 내에 전체 의사결정을 마쳤다. 이는 실시간 제어 요구사항(≤300 ms) 안에 들어가며, 네트워크 지연을 고려한 엣지 배포가 가장 효율적임을 시사한다.

또한, 논문은 VLM이 생성하는 자연어 설명을 이용해 인간 운영자와의 인터페이스 가능성을 탐색한다. 예를 들어, “표면에 차량이 2 m 이내에 존재합니다”와 같은 텍스트는 운영자가 비상 상황을 빠르게 이해하고, 필요 시 수동 개입을 허용한다. 이는 투명성·신뢰성 측면에서 중요한 기여이다.

한계점으로는 VLM의 hallucination 위험, 모델 크기에 따른 전력·연산 비용, 그리고 실제 하드웨어에서의 온보드 실행 검증 부족을 들 수 있다. 향후 연구에서는 경량화된 VLM 압축 기법, 멀티모달 프롬프트 최적화, 그리고 실제 드론 플랫폼에서의 필드 테스트가 필요하다.