디지털 트윈 기반 심층 강화학습을 활용한 차세대 무인항공기 통신 회선의 현장 맞춤형 무선 자원 관리

초록

본 논문은 고정밀 레이 트레이싱 디지털 트윈(채널 트윈)을 이용해 현장 전용 데이터셋을 생성하고, 이를 기반으로 다중 헤드 PPO(MH‑PPO) 에이전트를 학습시켜 UAV‑BS‑빔 연관 문제를 실시간으로 해결한다. 제안 방법은 기존 최적화 기법 대비 44‑121%의 성능 향상과 수백 배에 달하는 지연 감소를 보이며, 대규모 UAV 환경에서도 확장성을 확보한다.

상세 분석

본 연구는 차세대(NextG) 무인항공기(UAV) 항공 회랑에서 발생하는 복합적인 무선 자원 관리(RRM) 문제를 해결하기 위해 디지털 트윈(DT)과 심층 강화학습(DRL)의 결합이라는 새로운 패러다임을 제시한다. 첫 번째 단계에서는 고정밀 레이 트레이싱 엔진(NVIDIA Sionna와 Mitsuba‑3 기반)을 활용해 현장(사이트‑스페시픽) 채널 트윈(CT)를 구축한다. 이 CT는 건물 지오메트리, 재질 특성, BS 위치, UAV 고도 등을 정확히 반영하여 3D 전파 환경을 물리적으로 모델링한다. 레이 트레이싱 파라미터(N=10⁶ 레이, 최대 5번 반사·회절 등)를 통해 얻은 복소 채널 임펄스 응답(CIR)과 각도(AoA) 정보를 집계해 채널 이득 행렬 H와 평균 AoA를 도출한다.

두 번째 단계에서는 CT에서 생성된 대규모 데이터셋을 이용해 다중 헤드 근접 정책 최적화(Multi‑Head Proximal Policy Optimization, MH‑PPO) 에이전트를 학습한다. 기존 PPO는 단일 정책 네트워크를 사용하지만, 본 논문은 공유 트렁크와 UAV별 전용 액터 헤드를 갖는 멀티‑헤드 구조를 도입해 고차원 상태(전역 CSI, UAV 위치, 빔 인덱스 등)를 효율적으로 처리한다. 각 헤드는 해당 UAV에 대한 BS‑빔 선택 행동을 출력하며, 이는 “한 빔당 하나의 UAV” 제약을 자연스럽게 만족한다. 보상 설계는 네트워크 합용량을 직접 목표로 하면서, 동일 BS에 과다 연결될 경우 상위 N개의 강한 링크만을 허용하고 나머지는 페널티를 부여함으로써 하드 제약 대신 학습 기반 부하 균형을 구현한다.

알고리즘적 측면에서 제안된 이중 어닐링(dual annealing) 기반 사전 최적화는 CT 단계에서 각 BS‑빔의 최적 전송 방향을 미리 계산해 학습 초기값을 제공한다. 이는 DRL의 탐색 비용을 크게 감소시키고 수렴 속도를 높인다. 또한, MH‑PPO는 PPO의 안정적인 클리핑 기법과 다중 헤드 구조를 결합해 정책 업데이트 시 각 UAV의 행동이 독립적으로 조정되면서도 전역적인 협업을 유지한다.

성능 평가에서는 4개의 BS와 14개의 건물, 다양한 UAV 밀도(최대 30대)와 고도(60~100 m)를 시뮬레이션했다. 제안 방법은 전통적인 휴리스틱(예: 가장 강한 신호 기반 매칭) 대비 평균 스루풋이 249‑807% 향상되었으며, DQN 기반 강화학습 대비 44‑121%의 추가 이득을 기록했다. 특히 추론 지연은 밀리초 수준에서 마이크로초 수준으로 감소해 실시간 제어 요구를 충족한다. 확장성 테스트에서는 UAV 수가 증가해도 학습된 정책의 복잡도는 선형적으로 증가하며, 메모리 사용량과 추론 시간은 크게 변동하지 않는다.

한계점으로는 CT 구축에 필요한 고성능 GPU와 레이 트레이싱 비용, 그리고 실제 현장과의 시뮬레이션-실제 격차가 있다. 또한, 현재는 정적 UAV 위치를 가정했으며, 동적 궤적 추적 및 빠른 채널 변동에 대한 적응성은 추가 연구가 필요하다. 향후 연구에서는 온라인 DT 업데이트, 전이 학습을 통한 도메인 적응, 그리고 다중 안테나 포맷(대규모 MIMO)과 결합한 확장 모델을 고려할 수 있다.

요약하면, 본 논문은 물리 기반 DT와 최신 DRL 기법을 융합해 UAV‑BS‑빔 연관이라는 고차원 이산 최적화 문제를 실시간에 가까운 속도로 해결함으로써 차세대 무인항공기 통신 네트워크의 현장 맞춤형 RRM에 실용적인 솔루션을 제시한다.