적대적 공역에서 UAV 충돌 회피를 위한 메타 정책 전환

초록

본 논문은 적대적 교란에 취약한 UAV 강화학습 기반 항법을 보완하기 위해, 서로 다른 강인성을 가진 정책들을 사전 학습하고, 할인된 톰슨 샘플링(DTS)으로 구성된 메타‑정책이 실시간으로 최적의 정책을 선택하도록 하는 프레임워크를 제안한다. 이 접근법은 가치 분포 이동을 워셔스테인 거리로 측정해 정책 전환 시 손실을 최소화하고, 기대 레그레스를 이론적으로 보장한다. 시뮬레이션 결과, 백색‑박스(PGD)와 흑색‑박스(GNSS 스푸핑) 공격 모두에서 기존 강인 RL 및 일반 RL 대비 경로 효율과 충돌 회피율이 크게 향상됨을 확인하였다.

상세 분석

본 연구는 UAV 전술적 충돌 회피라는 고차원 연속 제어 문제에 ‘메타‑정책 전환’이라는 새로운 적응 메커니즘을 도입함으로써, 기존 강인 강화학습(Robust RL)과 메타‑강화학습(Meta‑RL)의 한계를 동시에 극복한다는 점에서 의미가 크다. 첫 번째 핵심 기여는 다양한 교란 강도(α) 하에서 학습된 다중 정책 집합을 구성한 뒤, 이들을 ‘팔’로 보는 다중 무장 밴딧(MAB) 문제로 전환한 것이다. 여기서 할인된 톰슨 샘플링(DTS)은 각 정책의 최근 성능(워셔스테인‑1 거리 기반 가치 분포 이동)과 미래 기대 보상을 동시에 고려해 베타(또는 베르누이) 보상 모델을 업데이트한다. 할인 인자를 도입함으로써 비정상적인 급격한 교란(예: GPS 스푸핑) 발생 시에도 과거 관측이 과도히 영향력을 행사하지 못하도록 설계하였다.

이론적 분석에서는 DTS가 기대 레그레스를 O(log T) 수준으로 제한한다는 증명을 제공한다. 특히, 레그레스가 최소화될 때 가치 함수의 변동 폭이 감소하고, 이는 ‘안티프래질(antifragile)’ 현상—교란 강도가 증가할수록 평균 성능이 오히려 향상되는—을 수학적으로 도출한다. 논문은 이러한 현상이 정책 집합 내에서 서로 보완적인 강인성을 갖는 정책들이 존재할 때 발생한다는 충분조건을 제시한다.

실험 설계는 3차원 동적 장애물 환경을 기반으로 하며, 두 종류의 공격을 적용한다. 백색‑박스 공격은 정책 네트워크에 대한 미분 가능한 PGD 교란을, 흑색‑박스 공격은 GPS 스푸핑을 모사한 관측 교란을 의미한다. 각 공격에 대해 메타‑정책은 실시간으로 정책을 전환하며, 전환 빈도와 전환 전후의 가치 분포 변화를 로그로 기록한다. 결과는 메타‑정책이 평균 경로 길이를 1520% 단축하고, 충돌 회피 성공률을 1018% 상승시켰으며, 특히 고강도 스푸핑 상황에서 기존 강인 RL이 거의 실패하는 반면 제안 방법은 안정적인 성능을 유지함을 보여준다.

한계점으로는 시뮬레이션에 센서 노이즈·통신 지연·액추에이터 비선형성을 포함하지 않았으며, 정책 집합의 규모가 커질수록 DTS의 계산 비용이 선형적으로 증가한다는 점을 들 수 있다. 향후 연구에서는 하드웨어‑인‑루프 테스트와 경량화된 베이즈 업데이트 기법을 도입해 실시간 적용성을 높이는 것이 필요하다.