고속 비전 기반 UAV 비행을 위한 안전 방패 강화 학습

초록

본 논문은 고속 비행이 요구되는 복잡한 환경에서 쿼드로터가 실시간으로 장애물을 회피하도록, 물리 기반 보상과 고차 제어 장벽 함수(HOCBF) 기반 안전 필터를 결합한 엔드‑투‑엔드 강화학습 프레임워크를 제안한다. 훈련 단계에서는 Dijkstra 기반 지오데식 거리 지도와 CBF 기반 안전 보상을 이용해 전역 경로 정보를 제공하고, 배포 단계에서는 정책 출력(추력·각도)을 실시간으로 안전 집합에 투사해 충돌을 이론적으로 보장한다. 시뮬레이션·실험 결과, 기존 모듈식 플래너와 최신 학습 기반 방법을 모두 능가하며, 실외 숲에서도 7.5 m/s까지 안정적인 비행을 달성한다.

상세 분석

이 연구는 고속 비행 UAV의 실시간 장애물 회피 문제를 ‘속도‑안전 트레이드오프’를 근본적으로 재구성한다는 점에서 의미가 크다. 기존 모듈식 파이프라인은 인식‑계획‑제어를 순차적으로 수행하면서 누적 지연(latency)과 복잡한 파라미터 튜닝을 초래한다. 반면 순수 RL 기반 정책은 지연을 최소화하지만, 안전성에 대한 형식적 보장이 부족해 실제 운용에 한계가 있다. 논문은 이 두 접근법의 장점을 융합한 ‘하이브리드’ 구조를 제시한다.

1. 물리‑인포메드 보상 설계

   • 지오데식 보상: Dijkstra 알고리즘으로 사전 계산된 비용 맵(Φ_g)을 사용해 현재 위치와 목표 사이의 최단 경로 거리를 실시간으로 보간한다. 보상 r_navigation은 이 비용 감소량(δ)을 클램프하여 제공함으로써, 에이전트가 단순 Euclidean 거리 최소화에 빠지는 로컬 최소 문제를 회피하고, 전역 경로 정보를 내재화한다. 이는 복잡한 비선형 장애물 환경에서도 ‘전역적인 목표 의식’을 유지하게 만든다.
   • CBF 기반 안전 보상: ESDF(유클리드 거리 필드)에서 장애물까지의 거리 d(x)와 안전 마진 d_safe를 이용해 장벽 함수 h(x)=d(x)-d_safe를 정의한다. ḣ + γh ≥ 0 조건을 직접 강제하기보다는, 위 식의 위반 정도를 보상 r_safety에 클립하여 반영한다. 이렇게 하면 학습 과정에서 안전 행동을 자연스럽게 장려하면서도, 값 함수의 발산을 방지한다.

2. 네트워크 아키텍처와 비대칭 학습

   • 멀티모달 입력: 100×60 깊이 이미지와 속도·자세·이전 액션·목표 상대 위치 등 프로프리오셉션을 결합한다. 깊이 이미지는 CNN으로 특징을 추출하고, 프로프리오셉션과 결합해 GRU에 입력해 시계열 정보를 유지한다.
   • 비대칭 Actor‑Critic: Critic은 노이즈가 없는 ‘그라운드 트루스’ 상태를 사용해 안정적인 가치 추정이 가능하도록 하고, Actor는 실제 배포 환경을 모사한 노이즈·드롭아웃·지연이 포함된 관측만을 사용한다. 이는 시뮬‑투‑리얼 전이 시 정책의 강인성을 크게 향상시킨다.

3. 실시간 안전 필터 (HOCBF)

   • 정책이 출력한 추력·각도 명령을 고차 제어 장벽 함수 기반 필터에 통과시켜, 현재 상태와 장애물 거리 정보를 이용해 안전 집합으로 투사한다. 이 과정은 100 Hz 이상의 고속 루프에서 수행되며, 수학적으로 충돌 회피를 보장한다(∂h/∂x·f(x,u)+γh≥0). 따라서 예기치 않은 외란이나 관측 오차가 발생해도 안전성이 유지된다.

4. 시뮬·실험 검증

   • 시뮬레이션: 다양한 밀집 장애물 맵(실내 인공 구조물, 외부 숲)에서 PPO 기반 정책을 학습하고, 기존 ‘Ego‑Planner’, ‘NavRL’, ‘Optimization‑Embedded Network’ 등과 비교했다. 제안 방법은 성공률, 평균 비행 시간, 충돌 횟수 모두에서 우수했으며, 특히 6–7 m/s 구간에서 기존 방법이 급격히 성능이 저하되는 반면 안정적인 비행을 유지했다.
   • 실제 비행: ZJU의 PX4 기반 쿼드로터에 적용해 실내 인공 나무 숲과 야외 실제 숲에서 7.5 m/s까지 비행했다. 장시간(≈5 min) 연속 비행에서도 충돌 없이 목표 지점을 도달했으며, 안전 필터가 작동한 순간을 로그로 확인해 이론적 보장이 실제로 구현됨을 입증했다.
   • 도메인 랜덤화: 이미지 드롭아웃, 센서 노이즈, 통신 지연 등을 시뮬레이션에 삽입해 정책이 다양한 환경 변동에 강인하도록 훈련했다. 이는 실제 비행 시 카메라 노이즈·조명 변화에 대한 적응력을 크게 높였다.

5. 한계와 향후 과제

   • 현재 안전 필터는 정적 장애물에 대한 ESDF 기반 장벽 함수를 사용한다. 동적 장애물(예: 움직이는 사람, 드론)에는 추가적인 예측 모델이나 적응형 CBF가 필요하다.
   • 지오데식 보상은 사전에 계산된 비용 맵에 의존하므로, 완전한 미지 환경에서는 비용 맵을 실시간으로 업데이트하거나, 학습 기반 경로 추정과 결합하는 방안이 제안될 수 있다.
   • 고차 제어 장벽 함수의 파라미터(γ, d_safe 등)는 현재 실험적으로 튜닝했으며, 자동화된 파라미터 최적화 혹은 학습 기반 적응 메커니즘이 연구될 여지가 있다.

전반적으로, 물리‑인포메드 보상과 실시간 모델 기반 안전 필터를 결합한 이 논문은 고속 비전 기반 UAV 비행에서 ‘속도와 안전’이라는 두 축을 동시에 만족시키는 실용적인 솔루션을 제시한다.