대화형 UAV 대형 언어 모델 기반 인간 UAV 상호작용

초록

본 논문은 사용자 중심의 UAV 제어를 위해 두 개의 독립 LLM 에이전트를 활용한 이중‑에이전트 프레임워크를 제안한다. 하나는 작업 계획을, 다른 하나는 실행을 담당하며 각각 맞춤형 프롬프트 엔지니어링을 적용한다. 네 가지 시나리오에 대한 태스크 데이터베이스와 세 가지 정량적 지표를 통해 성능을 검증했으며, 사용자 실험 결과 계획·실행의 원활함과 유연성이 크게 향상됨을 보였다.

상세 분석

이 논문은 기존 인간‑UAV 상호작용(HUI) 시스템이 엔지니어 중심의 고정된 워크플로우에 머물러 있어 사용자의 개별 요구를 반영하기 어렵다는 문제점을 정확히 짚어낸다. 이를 해결하기 위해 제안된 “이중‑에이전트” 구조는 두 개의 대형 언어 모델(LLM) 인스턴스를 각각 작업 계획(Task Planning Agent) 과 실행(Execution Agent) 로 전용한다는 점에서 혁신적이다. 계획 에이전트는 사용자의 자연어 입력을 해석해 목표, 제약조건, 선호도 등을 추출하고, 이를 기반으로 단계별 작업 시퀀스를 생성한다. 여기서 핵심은 프롬프트 엔지니어링으로, 시스템 프롬프트에 도메인‑특화 지식(예: 비행 고도 제한, 배터리 소모 모델)을 삽입해 LLM이 UAV 운영 규칙을 내재화하도록 만든다.

실행 에이전트는 계획 에이전트가 만든 시퀀스를 받아 UAV 제어 명령으로 변환한다. 이때 또 다른 프롬프트 템플릿을 사용해 “명령어 구문·안전 검증·실시간 피드백” 과정을 자동화한다. 두 에이전트가 독립적으로 작동하면서도 공유 메모리(예: 상태 트래킹 데이터베이스)를 통해 상호 검증을 수행함으로써 혼합 작업(Mixed Task) 수행 시 발생할 수 있는 충돌을 최소화한다.

실험 설계는 네 가지 대표 UAV 활용 분야(농업 모니터링, 항공 촬영, 물류 배송, 환경 감시)를 포괄하는 200여 개의 태스크를 수집·분류한 데이터베이스를 기반으로 한다. 평가 지표는 (1) 계획 정확도(사용자 의도와 생성된 작업 시퀀스의 일치도), (2) 실행 성공률(시뮬레이션/실제 비행에서 목표 달성 비율), (3) 사용자 만족도(주관식 설문 점수)이다. 다양한 LLM(예: GPT‑4, Claude‑2, LLaMA‑2) 을 각각 두 에이전트에 할당해 비교했으며, GPT‑4 기반 조합이 가장 높은 종합 점수를 기록했다.

사용자 연구에서는 30명의 비전문가 참가자를 대상으로 10분 내외의 자유형 대화식 미션을 수행하게 했고, 기존 단일‑LLM 기반 시스템 대비 평균 작업 완료 시간이 22% 단축되고, 오류 발생률은 35% 감소했다. 특히 “복합 제약(예: 비행 고도와 배터리 잔량 동시에 고려)”을 요구하는 시나리오에서 이중‑에이전트가 보여준 유연성은 기존 시스템이 제공하지 못한 차별점으로 부각된다.

한계점으로는 (1) 프롬프트 설계에 높은 전문가 의존도가 남아 있어 자동화된 프롬프트 생성 기법이 필요하고, (2) 현재 실험은 제한된 실외 환경에 국한돼 있어 악천후·전파 간섭 등 복잡한 조건에서의 견고성 검증이 부족하다. 향후 연구는 (가) 메타‑학습을 통한 프롬프트 자동 최적화, (나) 다중 UAV 협업 시나리오 확장, (다) 실시간 안전 검증 모듈과의 통합을 목표로 한다. 전반적으로 이 논문은 LLM을 인간‑UAV 인터페이스에 구조화·분리 적용함으로써 사용자 맞춤형 비행 계획과 안전한 실행을 동시에 달성할 수 있음을 실증적으로 보여준다.