에너지 절감을 위한 전이 기반 액터‑크리틱 프레임워크

초록

본 논문은 셀룰러 라디오 액세스 네트워크(RAN)에서 트래픽 변동을 마코프 의사결정 과정(MDP)으로 모델링하고, 베이스 스테이션(BS) 온·오프 전환을 강화학습으로 최적화한다. 차원 저주를 완화하기 위해 과거 데이터와 인접 지역의 학습 경험을 전이하는 액터‑크리틱 알고리즘(TACT)을 제안하고, 수렴성을 이론적으로 증명한다. 시뮬레이션 결과, TACT는 초기 학습 단계에서 성능을 급격히 끌어올리며, 허용 가능한 지연을 유지하면서 에너지 소비를 크게 감소시킨다.

상세 분석

이 연구는 RAN의 에너지 효율성을 향상시키기 위해 BS 스위칭을 동적으로 제어하는 문제를 MDP로 정형화한다. 상태공간은 각 셀의 트래픽 부하와 현재 BS 가동 여부를 포함하며, 행동공간은 개별 BS를 켜거나 끄는 이산적 선택으로 구성된다. 전통적인 강화학습(RL) 접근법은 상태·행동 차원이 급격히 증가함에 따라 학습 속도가 급감하고, 수렴 보장이 어려워지는 차원 저주(curse of dimensionality)에 직면한다. 이를 극복하기 위해 저자들은 전이 학습(transfer learning) 개념을 액터‑크리틱 구조에 통합한 TACT 알고리즘을 설계하였다.

TACT는 두 단계로 이루어진다. 첫 번째는 소스 도메인(과거 시점 혹은 인접 지역)에서 사전 학습된 정책(액터)과 가치 함수(크리틱)를 추출하는 단계이며, 두 번째는 타깃 도메인(현재 네트워크)에서 이 사전 지식을 초기 파라미터로 활용해 빠르게 적응한다. 전이 과정에서 파라미터를 완전히 고정하지 않고, 가중치 조절 계수(α)를 도입해 소스와 타깃의 차이를 점진적으로 보정한다. 이 설계는 초기 탐색 비용을 크게 절감하면서도, 환경 변화에 대한 적응성을 유지한다.

수학적으로는 액터‑크리틱 업데이트 식에 전이된 파라미터를 선형 결합 형태로 삽입하고, 마르코프 체인의 정상성 가정 하에 수렴성을 증명한다. 특히, 정책 그라디언트의 바이어스가 전이 파라미터에 의해 제한되며, 학습률이 적절히 감소할 경우 전역 최적점에 수렴함을 보인다.

실험에서는 실제 도시형 트래픽 패턴을 모사한 시뮬레이션 환경을 구축하고, 다양한 BS 밀도와 트래픽 변동성을 고려하였다. 비교 대상은 전통적인 Q‑러닝 기반 스위칭, 기본 액터‑크리틱, 그리고 무전이 버전의 TACT이다. 결과는 TACT가 초기 1000 에피소드 내에 평균 에너지 절감률을 20 % 이상 향상시키고, 최종 수렴 시에는 30 % 이상의 절감 효과를 달성함을 보여준다. 지연 측면에서는 서비스 품질(QoS) 제한을 만족하도록 설계된 보상 함수 덕분에, 전이 없이 학습한 경우보다 5 % 이하의 추가 지연만 발생한다.

이 논문의 주요 기여는 다음과 같다. (1) 트래픽 변동을 MDP로 모델링함으로써 BS 스위칭 문제를 강화학습에 적합하게 변환, (2) 전이 학습을 액터‑크리틱에 효과적으로 결합한 TACT 알고리즘을 제안하고 수렴성을 이론적으로 증명, (3) 실증적 시뮬레이션을 통해 전이 기반 학습이 초기 학습 비용을 크게 낮추고, 에너지 효율과 서비스 지연 사이의 트레이드오프를 개선함을 입증. 향후 연구에서는 다중 운영자 환경, 사용자 이동성 모델링, 그리고 실시간 온라인 전이 메커니즘을 확장하는 방향이 제시된다.