드론 기반 가시광통신을 위한 최적 고도와 보상 설계 기반 딥 강화학습 궤적 계획

초록

본 논문은 UAV‑VLC 시스템에서 데이터 수집 효율을 극대화하기 위해 비행 고도를 이론적으로 최적화하고, TD3 강화학습에 페로몬 기반 보상 메커니즘을 도입한 3차원 궤적 설계 프레임워크를 제안한다. 최적 고도 적용 시 비행 거리 35% 절감, 새로운 보상 설계로 학습 수렴 단계가 약 50% 단축되는 효과를 보였다.

상세 분석

이 연구는 UAV가 가시광통신(Visible Light Communication, VLC) 환경에서 지상 사용자(GU)로부터 데이터를 수집하는 시나리오를 전제로 한다. 기존 연구들은 주로 RF 기반 UAV 배치 혹은 단순한 고도 탐색에 머물렀으며, 대부분 수치적 최적화에 의존하거나 보상 설계가 VLC 물리 모델을 충분히 반영하지 못했다는 한계를 지적한다. 논문은 이러한 공백을 메우기 위해 두 가지 핵심 기여를 제시한다. 첫째, Lambertian 방사 모델을 기반으로 채널 이득 임계값 (H_{th})를 만족하는 최적 고도 (h^{*})를 폐쇄형으로 유도한다. 이 과정에서 수직 거리와 수평 거리의 관계를 함수화하고, 1차·2차 미분을 통해 극값을 분석함으로써 고도 구간별 단조성을 명확히 규명한다. 결과적으로 고도 하한 (h_{min})과 비교해 최적 고도를 선택하는 조건식(11)을 도출해, 고도 선택이 비행 거리와 통신 성공률 사이의 트레이드오프를 어떻게 조정하는지 이론적으로 설명한다. 둘째, 연속적인 행동 공간을 다루는 TD3(Twin Delayed Deep Deterministic Policy Gradient) 알고리즘에 ‘페로몬‑드리븐’ 보상 메커니즘을 결합한다. 기존 TD3는 성공적인 통신 이벤트에만 보상을 주어 희소 보상 문제에 취약했지만, 본 논문은 수신 각도 제한 (\Psi_c) 내에 들어오면 일정 페로몬 (\zeta_n)을 누적시켜 탐색 방향을 유도한다. 보상 함수 (r_n)은 (\tanh) 형태로 페로몬을 스케일링하고, 전체 비행 거리의 역수 (r_{dis})를 추가해 거리 최소화 목표를 직접 반영한다. 또한, 페로몬 감소 (\kappa_{dis})와 경계 위반 패널티 (P_{ob})를 포함해 학습 안정성을 확보한다.

알고리즘 흐름은 상태(s_n)에 GU 커버리지와 서비스 상태, UAV 위치, 페로몬을 포함하고, 행동(a_n)은 방향 (\theta_n)과 속도 (v_n)으로 정의한다. 이때 페로몬 업데이트 식(12)은 현재 시간대에 수신 가능 영역에 진입했는지 여부를 판단하는 지시함수 (\delta(\cdot))와 수평 거리 변화에 비례하는 추가 보상 (\kappa_{con,i,n})을 통해 탐색 효율을 높인다.

시뮬레이션 설정은 100 m × 100 m 영역에 10~30명의 GU를 무작위 배치하고, 고도 하한 10 m, 최대 속도 제한 등 현실적인 제약을 적용했다. 결과는 (1) 최적 고도 적용 시 비행 거리가 기존 고도 선택 대비 최대 35% 감소, (2) 페로몬 보상 도입으로 학습 수렴 단계가 약 50% 단축됨을 보여준다. 특히, 고도 최적화가 없을 경우 TD3만 사용했을 때보다 비행 거리 절감 효과가 현저히 낮으며, 보상 설계만 변경해도 수렴 속도가 크게 개선되는 점을 확인한다.

한계점으로는 (i) 고도 최적화가 채널 이득 임계값에만 의존하므로, 실제 환경에서 조명 밝기 변동이나 다중 경로 효과를 고려하지 않은 점, (ii) 페로몬 파라미터 (\kappa_{cov}, \kappa_{con}, \kappa_{dis})가 경험적으로 설정되어 일반화 가능성이 제한될 수 있다는 점을 들 수 있다. 향후 연구에서는 동적 조명 환경, 다중 UAV 협업, 그리고 페로몬 파라미터 자동 튜닝 메커니즘을 포함한 확장된 프레임워크가 필요할 것이다. 전반적으로 이 논문은 UAV‑VLC 시스템에서 물리‑레벨 채널 모델과 강화학습을 유기적으로 결합한 최초의 시도 중 하나로, 실시간 데이터 수집 및 라이트‑베이스 통신 네트워크 설계에 중요한 이정표를 제공한다.