스페이스 타임 연속학습 기반 모바일 엣지 UAV 네트워크: 재학습 없이 재난 상황을 극복한다

초록

본 논문은 동적인 사용자 밀도 변동에 직면한 UAV 기반 엣지 네트워크에서 재학습 없이 정책을 유지·전이시키는 연속학습 프레임워크(STCL)를 제안한다. 그룹‑디커플드 다중에이전트 PPO(G‑MAPPO)와 동적 z‑스코어 정규화를 결합한 GDPO 메커니즘을 통해 에너지 효율, 공정성, 커버리지 등 상충하는 목표를 자동 균형한다. 3차원 고도 조정을 공간 보상층으로 활용해 급격한 밀도 변화를 완화하고, 시뮬레이션에서 서비스 신뢰도 0.95, 기존 MADDPG 대비 20 % 용량 향상을 입증한다.

상세 분석

이 연구는 UAV‑BS가 3차원 이동성을 활용해 사용자 밀도 스펙트럼을 실시간으로 보정한다는 점에서 기존 2차원 고정 고도 모델을 뛰어넘는다. 핵심 기법인 GDPO는 각 에이전트가 얻는 보상 신호의 평균·분산을 동적으로 z‑스코어 정규화한 뒤, 목표별 그래디언트를 정규 직교(projection)하여 충돌을 최소화한다. 이는 연속학습에서 흔히 발생하는 ‘gradient interference’를 효과적으로 억제하고, 별도의 파라미터 고정이나 메모리 버퍼 없이도 플라스틱(새로운 환경 적응)과 스테이블(기존 지식 보존) 사이의 균형을 맞춘다.

알고리즘 차원에서는 MAPPO의 클리핑 기반 정책 업데이트를 그룹 단위로 분리하고, 각 그룹은 동일한 목표(예: 에너지 효율) 혹은 상호 보완적인 목표(예: 공정성)로 묶인다. 이렇게 하면 정책 업데이트 시 한 그룹의 급격한 파라미터 변동이 다른 그룹에 미치는 영향을 제한한다. 또한, 동적 z‑스코어는 환경 전이(도시→교외→농촌) 시 보상 스케일이 급변하는 상황에서도 학습률을 자동 조정한다는 장점이 있다.

시뮬레이션 설정은 140명의 사용자를 3단계 시나리오에 배치하고, UAV는 80 ~ 120 m 고도 범위 내에서 자유롭게 상승·하강한다. 성능 평가는 서비스 신뢰도(연속 0.95 유지), 평균 스루풋, 에너지 소비, 그리고 ‘catastrophic forgetting’ 지표(정책 전이 후 성능 저하율)로 이루어진다. 결과는 G‑MAPPO가 MADDPG 대비 전이 구간에서 성능 저하를 거의 보이지 않으며, 전체 트래픽 부하가 최고점일 때 20 % 이상의 용량 향상을 달성함을 보여준다.

한계점으로는(1) 시뮬레이션이 정적인 채널 모델과 제한된 사용자 이동 패턴에 의존한다는 점, (2) 고도 조정이 실제 비행 제약(배터리, 풍동, 규제)과 완전히 연계되지 않았다는 점, (3) GDPO의 하이퍼파라미터(그룹 수, 정규화 윈도우) 선택이 실환경에서 민감할 수 있다는 점을 들 수 있다. 향후 연구에서는 실제 UAV 실험, 비선형 에너지 모델, 그리고 다중 스펙트럼(주파수·시간) 연속학습을 결합한 확장성을 검증할 필요가 있다.