제한된 통신 환경에서 UAV 협업을 위한 시공간 주의 강화 다중에이전트 강화학습

초록

본 논문은 다중 UAV가 지상 사용자와 원격 기지국 사이의 데이터 전송을 중계하는 시스템에서, 간헐적인 정보 교환으로 인한 지연과 손실을 완화하기 위해 지연 페널티 보상과 시공간 주의 기반 예측 모듈을 결합한 새로운 다중에이전트 딥 강화학습(MADRL) 프레임워크를 제안한다. 제안 기법은 UAV의 궤적 계획, 네트워크 형성, 전송 제어를 공동 최적화하여 기존 방법 대비 정보 지연을 50 % 이상 감소시키고, 시스템 스루풋을 75 % 향상시킨다.

상세 분석

이 연구는 UAV‑assisted 무선 네트워크에서 ‘정보 지연’과 ‘정보 손실’이라는 두 가지 핵심 제약을 동시에 다루는 점이 혁신적이다. 첫 번째 기여는 지연‑패널티 보상을 도입한 MADRL 설계이다. 전통적인 MADRL은 모든 에이전트가 실시간으로 완전한 상태 정보를 공유해야 학습이 안정되지만, 실제 UAV 간 U2U·U2B 링크는 채널 감쇠와 거리 증가로 인해 종종 차단된다. 논문은 각 UAV가 BS에 데이터를 전송할 때 자신의 현재 위치·트래픽·채널 상태를 보고하도록 하고, BS는 이를 ACK 패킷에 포함해 다른 UAV에게 전달한다. 이 과정에서 발생하는 전송 지연을 보상 함수에 ‘delay‑penalty’ 형태로 삽입함으로써, UAV가 스스로 궤적을 조정해 BS와의 교신 빈도를 높이고, 정보 업데이트를 촉진하도록 유도한다. 보상 설계는 ‘정보 최신성’과 ‘전송 효율성’ 사이의 트레이드오프를 수치적으로 균형 맞추어, 학습 초기에 과도한 지연이 정책을 왜곡하는 것을 방지한다.

두 번째 핵심은 시공간 주의(Spatio‑Temporal Attention) 모듈을 활용한 정보 복원이다. UAV는 과거에 BS에 저장된 자신 및 이웃 UAV들의 상태 시퀀스를 가지고 있으며, 이 시퀀스에 대해 시간적 어텐션을 적용해 장기 의존성을 포착한다. 동시에, 공간적 어텐션을 통해 현재 위치와 가장 가까운 이웃 UAV들의 상태가 현재 UAV의 의사결정에 미치는 영향을 가중한다. 이렇게 얻어진 예측값은 ‘가상 최신 상태’로서, 실제 정보가 도착하기 전까지 정책 네트워크에 입력된다. 결과적으로, 실시간 통신이 차단된 상황에서도 각 UAV는 네트워크 전체의 근사 상태를 인식하고, 궤적·전송·네트워크 형성을 협업적으로 조정할 수 있다.

알고리즘적으로는 중앙집중식 훈련 단계에서 전체 상태를 이용해 공동 Q‑함수(또는 정책 함수)를 학습하고, 실행 단계에서는 각 UAV가 로컬 관측·예측을 바탕으로 분산 실행한다. 이는 기존의 완전 분산형 MADRL이 겪는 수렴 불안정성을 완화하고, 동시에 통신 비용을 크게 절감한다. 실험에서는 3대·5대·7대 규모의 UAV 시뮬레이션을 통해, 제안된 ST‑A‑MADRL이 기존 MADDPG 대비 평균 정보 지연을 52 % 감소시키고, 전체 시스템 스루풋을 75 % 향상시켰다. 특히, 지연 페널티 보상만 적용한 변형과 비교했을 때, 시공간 주의 기반 예측이 추가적인 20 % 이상의 스루풋 향상을 제공함을 확인하였다.

이 논문의 의의는 (1) 제한된 통신 환경에서도 ‘정보 최신성’을 보상 메커니즘과 예측 모델로 동시에 확보함으로써, 학습 효율과 실제 네트워크 성능을 동시에 끌어올린 점, (2) 시공간 주의 메커니즘을 MADRL에 자연스럽게 통합해 복잡한 다중 UAV 협업 문제에 적용한 최초 사례라는 점이다. 향후 연구에서는 실제 무인 항공 플랫폼에 대한 현장 시험과, 에너지 제약·보안 제약을 포함한 다목적 최적화로 확장할 여지가 있다.