라디오 액세스 네트워크를 위한 일반화 강화 강화학습 프레임워크

초록

본 논문은 5G·6G 라디오 액세스 네트워크(RAN)에서 기존 규칙 기반 RRM을 넘어서는 일반화 가능한 강화학습(RL) 에이전트를 설계한다. 부분·노이즈 관측과 정적·반정적 정보를 그래프 구조로 인코딩하고, 도메인 랜덤화와 다중 액터 분산 학습을 결합해 훈련 데이터 다양성을 확보한다. 다운링크 링크 어댑테이션 실험에서 평균 스루풋·스펙트럼 효율을 10~20% 향상시키고, 그래프 어텐션 모델이 MLP 대비 30% 추가 이득을 보였다.

상세 분석

이 연구는 RAN 환경의 고이질성·동적 변동성을 고려한 ‘일반화 중심’ RL 프레임워크를 제안한다. 첫 번째 핵심은 상태 재구성이다. 관측은 부분적이고 노이즈가 섞여 있기 때문에, 저자들은 셀·안테나·사용자 등 정적·반정적 속성을 그래프 형태로 표현하고, 동적 채널·트래픽 정보를 노드 특성에 부착한다. 이를 위해 Graph Attention Network(GAT)를 활용해 인접 셀 간 상호작용과 토폴로지를 학습한다. GAT는 이질적인 그래프 구조에서도 중요한 이웃을 가중치화해 정보 흐름을 최적화하므로, 대규모 9셀 시뮬레이션에서도 MLP 대비 30% 이상의 스루풋 향상을 달성한다.

두 번째는 도메인 랜덤화이다. 훈련 시 전송 전력, 사용자 이동 속도, 채널 모델, 트래픽 패턴 등을 광범위하게 변동시켜 ‘시뮬‑투‑시뮬(sim2sim)’ 전이 환경을 만든다. 이는 정책이 특정 파라미터에 과적합되는 것을 방지하고, 실제 현장 배포 시 보이지 않는 환경에서도 성능 저하를 최소화한다. 특히 고속 이동(>120 km/h) 상황에서 20% 이상의 스루풋 향상을 보인 점은 랜덤화가 비정상적인 채널 변동에 대한 내성을 부여했음을 시사한다.

세 번째는 분산 학습 아키텍처이다. 다수의 액터(시뮬레이터)들이 서로 다른 파라미터 설정·네트워크 토폴로지를 가진 환경을 동시에 실행하고, 중앙 클라우드 서버가 경험을 집계·샘플링해 정책을 업데이트한다. 이 설계는 O‑RAN의 xApp/rApp 개념과 일치하며, 데이터·컴퓨팅 부하를 수평 확장 가능하게 만든다. 또한, 경험 재현(replay) 버퍼를 환경별 메타데이터와 함께 저장해, 후속 파인튜닝이나 전이 학습에 활용할 수 있다.

실험은 다섯 개의 5G 벤치마크(Full‑Buffer MIMO, mMIMO, 고속 이동, eMBB, 혼합 트래픽)에서 진행되었다. 기본 Outer‑Loop Link Adaptation(OLLA) 대비 평균 셀 스루풋·스펙트럼 효율을 약 10% 향상시켰으며, 고속 이동 시 20% 이상, eMBB·혼합 트래픽에서는 각각 4배·2배의 이득을 기록했다. 이는 일반화된 정책이 특수 상황에 맞춘 전용 RL 정책과 동등하거나 우수한 성능을 보임을 의미한다.

한계점으로는 연산·데이터 관리 비용이 증가한다는 점이다. 대규모 그래프 연산과 다중 액터 동기화는 GPU·CPU 메모리 요구량을 크게 늘리며, 실시간 서비스에 적용하려면 경량화와 지연 최소화가 필요하다. 또한, 시뮬레이터와 실제 현장 간의 물리적 차이를 완전히 메우지는 못하므로, 현장 시험을 통한 추가 검증이 요구된다.

전반적으로, 이 논문은 RAN 제어에 있어 ‘하나의 일반화된 RL 에이전트’라는 비전을 실현 가능한 설계·평가 프레임워크로 구체화했으며, 그래프 기반 상태 표현, 도메인 랜덤화, 분산 학습이라는 세 축을 통해 기존 규칙 기반 및 전용 RL 모델을 능가하는 성과를 입증했다.