동적 환경 적응형 무선 센서 네트워크를 위한 다중 과제 평생 강화학습

초록

본 논문은 에너지 수집과 데이터 전송을 동시에 최적화하는 무선 센서 네트워크(WSN)를 대상으로, 비정상적인 환경 변화에 빠르게 적응할 수 있는 다중 과제 평생 강화학습(MT‑L2RL) 알고리즘을 제안한다. 동일한 상태·행동 공간을 공유하면서도 에너지 수집 동역학이 달라지는 각 작업을 MDP로 정의하고, 과거 작업에서 학습한 지식을 새로운 작업에 전이함으로써 수렴 속도를 크게 향상시킨다. 시뮬레이션 결과, 기존 Lyapunov 기반 최적화와 정책‑그라디언트 RL 대비 각각 약 60 %·30 % 빠른 수렴을 보이며, 에너지 소비와 큐 안정성 측면에서 거의 최적에 근접한다.

상세 분석

이 연구는 두 개의 서브시스템(주 시스템과 보조 시스템)으로 구성된 WSN을 모델링하고, 주 시스템은 안정적인 전원과 동시에 무선 전력 전송(SWIPT)을 수행한다. 보조 시스템은 주 시스템으로부터 에너지를 수집해 데이터를 전송한다는 전형적인 하이브리드 구조를 채택한다. 시스템 동역학은 (1) 데이터 큐 업데이트, (2) 전송 데이터량, (3) 에너지 수집량, (4) 배터리 상태 등 네 가지 핵심 방정식으로 정형화된다. 특히 에너지 수집 효율 λ와 채널 스케일 파라미터 ζ̃가 시간에 따라 변하는 비정상성을 가정함으로써, 각 시간 구간을 ‘작업(task)’으로 정의하고 동일한 상태·행동 공간을 유지한다는 점이 핵심이다.

문제는 장기 평균 에너지 소비를 최소화하면서 큐 안정성(⟨q⟩→0)과 배터리 용량 제한을 만족하는 제어 변수(p₀, α₀, α₁, α̃)를 찾는 것이며, 이는 제약식(6a‑6g)으로 표현된다. 전통적인 Lyapunov 최적화는 드리프트-플러스-패널티 기법을 사용해 안정성을 보장하지만, 환경 파라미터가 변할 때마다 새로 최적화를 수행해야 하므로 적응 속도가 느리다. 반면 정책‑그라디언트 RL는 환경 변화를 탐색적으로 학습하지만, 전이 학습 메커니즘이 없으므로 초기 수렴이 오래 걸린다.

본 논문은 이러한 한계를 극복하기 위해 ‘다중 과제 평생 강화학습(MT‑L2RL)’ 프레임워크를 도입한다. 각 작업 j는 고정된 λ_j와 ζ̃_j를 갖는 MDP로 모델링되고, 에이전트는 작업 간에 공유되는 정책 파라미터 θ를 유지한다. 새로운 작업이 등장하면, 기존 정책을 초기값으로 사용하고, 작업‑특정 파라미터 Δθ_j를 추가 학습한다. 이렇게 하면 과거 작업에서 축적된 지식(예: 채널 변동 패턴, 최적 전송·수집 비율)이 새로운 작업에 빠르게 전이된다. 또한, 경험 재플레이와 메타‑학습 기법을 결합해 정책 업데이트 시 과거 경험을 가중치 있게 활용한다.

실험에서는 2‑subsystem 시뮬레이션 환경을 구축하고, λ와 ζ̃가 5번의 변화를 겪는 시나리오를 설정했다. 성능 지표는 (i) 평균 에너지 소비, (ii) 큐 평균 길이, (iii) 수렴에 필요한 에피소드 수이다. 결과는 MT‑L2RL이 Lyapunov 기반 방법보다 약 60 % 빠르게, 정책‑그라디언트 RL보다 약 30 % 빠르게 수렴함을 보여준다. 에너지 소비와 큐 안정성에서도 두 베이스라인에 비해 5 %~10 % 정도 개선되었다.

기술적 기여는 다음과 같다. 첫째, 비정상적인 EH 환경을 다중 과제로 공식화하고, 동일 상태·행동 공간을 유지함으로써 평생 학습이 가능한 구조를 제시했다. 둘째, 작업 간 전이 학습을 위한 메타‑파라미터 업데이트 방식을 설계해 학습 효율을 크게 향상시켰다. 셋째, Lyapunov 최적화와 전통 RL 대비 실험적으로 우수성을 입증했다. 다만, 논문은 두 개의 서브시스템에 국한된 단순 모델을 사용했으며, 대규모 네트워크, 다중 안테나, 비동기 스케줄링 등 현실적인 요소에 대한 확장은 향후 과제로 남는다.