라디오 액세스 네트워크를 위한 실용적 정책 증류와 강화학습

초록

본 논문은 4G·5G 기반 라디오 액세스 네트워크(RAN)에서 제한된 메모리·연산 자원을 고려해, 대규모 강화학습(LA) 교사 모델을 경량 학생 모델로 압축하는 정책 증류 기법을 제안한다. 단일 교사 기반 증류와 다중 교사 기반 증류 두 가지 전략을 실험적으로 검증했으며, 1 Mb 이하·100 µs 미만 추론 시간을 만족하면서도 교사 모델의 일반화 성능을 유지한다는 결과를 제시한다.

상세 분석

이 연구는 RAN 환경에서 AI 적용이 직면한 세 가지 핵심 제약—링크‑레벨 측정 데이터 부족, 초저지연 처리 요구, 그리고 레거시 베이스밴드 하드웨어의 메모리·연산 한계—를 명확히 정의하고, 이를 해결하기 위한 정책 증류(framework)를 설계했다. 먼저, 링크 어댑테이션(LA) 문제를 MDP로 모델링하고, 28개의 MCS 인덱스를 행동 공간으로 설정하였다. 교사 모델은 대규모 Deep Q‑Network(DQN)으로, 분산 학습 아키텍처와 도메인 랜덤화(domain randomization)를 통해 다양한 셀·주파수·트래픽 상황을 학습한다. 정책 증류 단계에서는 교사의 Q‑값을 온도 파라미터 τ로 스케일링한 후, KL‑다이버전스 손실을 최소화하도록 학생 네트워크를 훈련한다.

단일 정책 증류는 하나의 시나리오‑불변 교사 모델을 사용해, 교사의 replay memory에 저장된 다양한 환경 샘플을 재활용함으로써 학생이 원본 교사의 일반화 능력을 그대로 물려받게 한다. 반면 다중 정책 증류는 서로 다른 시나리오(도시, 교외, 고속 이동 등)에서 별도로 학습된 N개의 전문 교사들을 합쳐 하나의 통합 데이터셋을 만든 뒤, 이를 기반으로 학생을 학습시킨다. 이 접근법은 각 교사가 하드웨어 제한에 맞춰 설계될 수 있어, 실제 운영망에서 교사 학습에 필요한 탐색 비용을 최소화한다는 장점이 있다.

실험은 5G‑준수 이벤트‑드리븐 시뮬레이터에서 수행됐으며, 모델 크기(파라미터 수)와 추론 지연을 기준으로 1 Mb·100 µs 이하의 경량 모델을 목표로 설정했다. 결과는(1) 학생 모델이 교사 대비 1‑2% 수준의 스펙트럼 효율 손실만 보이며, (2) 훈련에 사용되지 않은 세 가지 베이스라인 시나리오에서도 교사의 성능을 거의 그대로 유지한다는 점을 보여준다. 또한, 동일한 크기의 학생 모델을 직접 RL로 학습시켰을 때는 수렴 속도가 현저히 느리고, 일반화 성능이 크게 떨어지는 것을 확인했다. 이는 정책 증류가 단순 파라미터 축소를 넘어, 교사의 행동 분포를 효과적으로 전달함으로써 학습 효율과 일반화 능력을 동시에 확보한다는 중요한 인사이트를 제공한다.

이 논문은 RAN의 레거시 하드웨어에 AI를 적용하기 위한 실용적 로드맵을 제시한다. 정책 증류를 통해 대규모 교사 모델의 지식을 압축함으로써, 기존 베이스밴드 칩셋에서도 실시간 링크 어댑테이션과 같은 L2‑critical 기능을 AI 기반으로 전환할 수 있다. 향후 연구에서는 온‑디바이스 양자화, 하드웨어‑친화적 연산 그래프 최적화, 그리고 실제 필드 테스트를 통한 시뮬레이션‑실제 격차 검증이 필요하다.