대규모 기초 모델 기반 계층형 강화학습으로 차단 인식 RIS 네트워크 최적화

초록

본 논문은 사전 학습된 대규모 무선 모델(LWM)을 미세조정하여 저차원 CSI 임베딩을 생성하고, 이를 사용자 위치·차단 상태와 결합한 뒤 계층형 심층 강화학습(HDRL)으로 BS 빔포밍과 RIS 위상시프트를 공동 최적화한다. 제안 방식은 기존 FM‑DRL 및 빔 스위핑 대비 수렴 속도·스펙트럼 효율·확장성에서 모두 우수함을 시뮬레이션으로 입증한다.

상세 분석

본 연구는 RIS‑보조 6G 시스템에서 발생하는 두 가지 핵심 난제, 즉 고차원 채널 상태 정보(CSI)의 획득 비용과 다중 시간 스케일을 갖는 제어 변수들의 복합 최적화를 동시에 해결하고자 한다. 첫 번째 단계에서는 대규모 무선 모델(LWM)을 사전 학습된 트랜스포머 기반 구조로 활용한다. LWM은 방대한 채널 데이터셋을 통해 전파 특성의 보편적 표현을 학습했으며, 논문에서는 이를 RIS‑특화 시나리오에 맞게 마지막 레이어만 미세조정한다. 이 과정에서 원시 채널 행렬을 실수·허수 파트로 분리하고, 일정 길이 패치로 나눈 뒤 128‑차원 잠재 공간에 투영한다. 최종 CLS 토큰을 추출해 𝑑 차원의 압축 임베딩 𝐸를 얻으며, 이는 기존의 파일럿 기반 CSI 추정보다 훨씬 적은 오버헤드로 채널의 다중 경로·BS‑RIS‑UE 상호작용을 포괄한다.

두 번째 단계는 계층형 심층 강화학습(HDRL)이다. HDRL은 메타‑컨트롤러와 서브‑컨트롤러로 구성된 2‑레벨 SMDP 구조를 채택한다. 메타‑컨트롤러는 블록age 상태와 사용자 위치를 관측해 장기 전략(직접 전송 vs. RIS‑보조 전송)을 결정한다. 여기서 목표 𝑔ₕₜ는 각 사용자에 대한 이진 전송 모드 벡터이며, 보상 𝑅ₕₜ는 서브‑컨트롤러가 얻은 순간 SE의 누적값에 사용자 최소 SE(R_min) 위반 시 페널티를 부과한 형태이다. 서브‑컨트롤러는 매 타임 슬롯마다 압축 CSI 임베딩 𝐸와 메타‑컨트롤러 목표 𝑏ₜ를 입력으로 받아, BS 빔포밍 벡터 𝑊와 RIS 위상시프트 행렬 Θ를 연속적으로 조정한다. 행동 공간은 연속값이며, DDPG 기반 액터‑크리틱 네트워크가 각각 256‑유닛 2‑계층 구조로 설계되어 있다.

알고리즘 1은 메타‑컨트롤러와 서브‑컨트롤러의 경험을 별도 리플레이 버퍼에 저장하고, 각각의 미니배치를 샘플링해 오프‑폴리시 업데이트를 수행한다. 이중 시간 스케일 설계는 블록age와 같은 느린 변화와 빠른 페이딩을 자연스럽게 분리함으로써 학습 효율을 크게 향상시킨다.

시뮬레이션에서는 BS 안테나 N=32, RIS 요소 M=32, 사용자 K=50을 가정하고, 각 사용자에 대해 10개의 주요 전파 경로를 고려하였다. LWM은 패치당 32개의 패치와 128‑차원 임베딩을 사용했으며, 미세조정 학습률 1e‑5, 배치 크기 64로 𝑀𝑆𝑒 손실을 최소화한다. HDRL은 γ=0.99, 메타‑버퍼 크기 500, 서브‑버퍼 400으로 설정하였다. 결과는 FM‑HDRL이 FM‑DRL 대비 평균 SE 7.82 % 향상, 전통적인 빔 스위핑 대비 48.66 % 향상을 달성했으며, 수렴 속도도 현저히 빨랐음을 보여준다. 특히 RIS 요소 수가 증가할수록 FM‑HDRL의 확장성이 유지되는 반면, 기존 DRL 기반 방법은 차원 폭발로 인해 학습이 불안정해지는 현상이 관찰되었다.

이러한 결과는 (1) 대규모 기초 모델을 통한 저차원 고품질 CSI 표현, (2) 시간 스케일에 맞춘 계층형 강화학습 구조, (3) 중앙 집중식 컨트롤러에서의 공동 최적화가 복합적인 무선 환경에서 실용적인 성능 향상을 가능하게 함을 시사한다. 향후 연구에서는 분산형 컨트롤러와 다중 RIS 환경, 그리고 실제 하드웨어 테스트베드 적용을 통해 실시간 구현 가능성을 검증할 필요가 있다.