네트워크 파편화 해소를 위한 의미‑증강 DRL 프레임워크: UAV‑지원 VANET의 새로운 접근

** 본 논문은 도시 환경에서 차량 간 무선 통신이 건물·교통 흐름에 의해 쉽게 차단되는 ‘네트워크 파편화’ 문제를 해결하기 위해, 대형 언어 모델(LLM)의 의미적 추론 능력을 심층 강화학습(Deep Reinforcement Learning, DRL) 정책에 직접 주입하는 새로운 프레임워크인 SA‑DRL(Semantic‑Augmented DRL)을 제안한다. 1. **문제 정의 및 시스템 모델** - 연구 대상은 n개의 교차로와 m개의 도로 구간으로 구성된 도시 구역이며, 일부 교차로에 고정된 RSU가 배치된다. 차량은 시간 슬롯 t∈{1,…,T}에 따라 도로 위를 이동하고, UAV는 3차원 위치 (x,y,z)에서 이동하며 V2V, V2I, UAV‑RSU 중계 링크를 제공한다. - 네트워크 파편화는 차량 클러스터가 서로 연결되지 못하고 독립된 서브넷으로 분리되는 현상으로, 이를 정량화하기 위해 두 종류의 그래프를 도입한다. * **Road Topology Graph (RTG)**: 정점은 교차로, 간선은 도로 구간이며, 각 정점·간선에 차량 밀도·통신 품질 가중치를 부여한다. * **Dual Connectivity Graph (DCG)**: 현재 시간에 존재하는 차량 클러스터와 UAV‑연결 상태를 이중 그래프로 표현, 각 클러스터를 정점, 클러스터 간 연결 가능성을 간선으로 나타낸다. - 파편화 정도는 DCG의 연결된 컴포넌트 평균 크기(AvgCC)와 전체 네트워크 커버리지(Reachability)로 정의되며, 목표는 UAV의 이동·배치를 통해 이 두 지표를 동시에 최대화하면서 에너지 소모를 최소화하는 다목적 최적화 문제이다. 2. **기존 연구와 한계** - 전통적인 UAV 배치 방법(MILP, 잠재장 기반)은 정확한 환경 모델이 필요하고 계산 복잡도가 높아 실시간 적용이 어렵다. - 기존 DRL 기반 접근(PPO, DQN, SAC 등)은 탐색 단계에서 도로 토폴로지를 고려하지 않아 무작위 탐색에 의존, 학습 수렴이 느리고 교통 패턴 변화에 취약하다. - 최근 LLM을 활용한 고수준 플래너는 UAV 경로를 거친히 제시하지만, 저수준 제어와 보상 설계에 한계가 있다(보상 해킹, 프롬프트 설계 어려움). 3. **SA‑DRL 프레임워크** - **Stage 1 – Experience Collection**: 고충실도 시뮬레이터에서 다양한 교통 시나리오(출퇴근, 야간, 사고 상황)를 실행해 차량·UAV 상태, RTG·DCG 변화를 기록한다. - **Stage 2 – Semantic Prior Construction**: 수집된 데이터를 기반으로 LLM에 “현재 가장 연결이 끊긴 구역은 어디인가”, “UAV가 이동해야 할 최적 교차로는?” 등 도메인 질문을 프롬프트로 제공하고, LLM이 반환한 텍스트를 파싱해 교차로 중요도 점수와 이동 우선순위 리스트를 만든다. - **Stage 3 – Knowledge Alignment**: LLM이 제시한 교차로 중요도와 실제 DCG 연결성 메트릭을 매핑해 확률 분포 \( \pi_{\text{LLM}}(a|s) \) 를 생성한다. 여기서 a는 UAV가 선택할 다음 위치(또는 이동 방향)이며, s는 현재 상태(차량 분포, UAV 위치, RTG/ DCG 정보)이다. - **Stage 4 – Policy Integration**: 위에서 만든 사전분포를 DRL 정책에 결합한다. 구체적으로 PPO의 정책 네트워크 출력 로그잇에 LLM 로그잇을 가중합하는 Logit Fusion 방식을 적용한다. 파라미터 λ는 사전분포의 신뢰도를 조절하며, 학습 초기에 높은 λ(≈0.5)로 의미적 가이드를 강화하고, 학습이 진행될수록 점진적으로 감소시켜 DRL이 환경에 적응하도록 한다. 4. **SA‑PPO 알고리즘** - 기존 PPO의 클리핑 손실 \( L^{CLIP} \) 와 가치 함수 손실 \( L^{VF} \) 에 더해, Logit Fusion에 의해 변형된 정책 \( \tilde{\pi}_{\theta} \) 를 사용한다. - 업데이트 단계에서는 기존 PPO와 동일하게 GAE(Generalized Advantage Estimation)를 이용해 어드밴티지를 계산하고, 변형된 정책에 대해 KL‑다이버전스 제한을 적용한다. - 또한, LLM이 제공한 사전분포와 실제 행동 간 KL‑다이버전스를 보조 손실로 추가해, 의미적 가이드와 실제 경험 사이의 불일치를 최소화한다. 5. **실험 설정 및 결과** - **시뮬레이터**: 실제 도시 지도(OpenStreetMap)와 차량 트래픽 데이터(NGSIM)를 사용해 5 km × 5 km 구역을 모델링, 24시간 동안 1 s 간격으로 시뮬레이션. 무선 채널은 3GPP Urban Micro 모델을 적용, LoS/ NLoS 확률을 건물 밀도에 따라 동적으로 변환. - **비교 대상**: (i) MILP 기반 최적 배치, (ii) 전통 PPO, (iii) LLM‑보조 보상 shaping(LM‑RL), (iv) 무작위 UAV 이동. - **성능 지표**: (a) 평균 연결된 컴포넌트 크기(AvgCC), (b) 전체 네트워크 커버리지(Reachability), (c) UAV 에너지 소비(Energy). - **주요 결과**: SA‑PPO는 AvgCC와 Reachability를 각각 13.2%·23.5% 향상시켰으며, 에너지 소비는 기존 PPO 대비 71.8% 절감했다. 학습 에피소드 수는 26.6%만으로도 베이스라인 PPO와 동등한 성능을 달성, 즉 샘플 효율성이 크게 개선되었다. λ=0.4에서 가장 안정적인 수렴을 보였으며, λ를 0.7 이상으로 설정하면 LLM 편향에 의해 정책이 과도히 고정되는 현상이 관찰되었다. - **일반화 테스트**: 훈련 시 사용한 교통 패턴과 다른 급증/감소 시나리오(예: 대형 이벤트, 사고 발생)에서도 SA‑PPO는 10~15% 수준의 성능 저하만 보였으며, 기존 PPO는 30% 이상 감소하였다. 6. **논의 및 향후 연구** - **LLM 파인튜닝 비용**: 현재는 사전 학습된 GPT‑3.5 기반 모델을 도메인 데이터에 추가 파인튜닝했으며, 파인튜닝 비용이 상당함. 경량화된 LLM(예: DistilBERT)이나 온‑디바이스 추론을 통한 실시간 업데이트가 필요하다. - **동적 LLM 업데이트**: 급작스런 사고나 도로 공사 등 급변 상황에서 LLM이 제공하는 사전분포를 실시간으로 재생성하는 메커니즘이 부재하다. 온라인 학습 또는 메타‑RL 기반 적응 전략이 향후 과제로 남는다. - **λ 자동 조정**: 현재 λ는 경험적으로 설정했으며, 메타‑RL 혹은 베이지안 최적화를 통해 학습 진행 중 자동으로 조정하는 방법이 제안될 수 있다. - **다중 UAV 협업**: 본 연구는 단일 UAV에 초점을 맞췄지만, 실제 도시 환경에서는 다수 UAV가 협업해야 한다. 다중 에이전트 DRL과 LLM 기반 공동 사전분포 설계가 다음 단계가 될 것이다. **