스펙트럼‑주의 LLM 기반 무선 세계 모델링: SCA‑LLM

초록

본 논문은 MIMO‑OFDM 시스템에서 다중 단계 CSI 예측을 위해 대형 언어 모델(LLM)을 활용하는 새로운 프레임워크 SCA‑LLM을 제안한다. 핵심은 2‑D DCT 기반 다중 스펙트럼 채널 어텐션(SCA) 어댑터를 통해 CSI의 주파수·시간 특성을 효과적으로 추출하고, 사전 학습된 LLM에 전달함으로써 파라미터 효율적인 적응과 도메인 불일치 완화를 달성한다. 시뮬레이션 결과, 기존 LLM‑기반 방법 대비 NMSE가 최대 ‑2.4 dB 개선되었으며, 다양한 시나리오와 SNR 조건에서 제로‑샷 일반화 능력을 보인다.

상세 분석

SCA‑LLM은 무선 채널 예측이라는 물리‑계열 시계열 문제에 LLM의 강력한 순차 모델링 능력을 접목시키기 위해 두 단계 어댑터 설계를 도입한다. 첫 번째 단계는 CSI 행렬을 2‑D 이산 코사인 변환(DCT)으로 변환하여 주파수 도메인에서 다중 스펙트럼 성분을 추출한다. 기존 LLM4CP가 전역 평균 풀링(GAP)으로 저주파 성분만 보존하는 데 반해, SCA 어댑터는 여러 DCT 베이스를 선택적으로 활용해 저주파부터 고주파까지 다양한 스펙트럼 정보를 유지한다. 이렇게 얻어진 스펙트럼‑채널 특징은 채널‑어텐션 레이어를 통해 공간(안테나)·시간(프레임) 차원의 상관관계를 강화한다. 두 번째 단계에서는 이러한 고차원 특징을 토큰화(tokenization)하여 사전 학습된 LLM(예: GPT‑계열)의 입력 시퀀스로 변환한다. LLM은 대규모 텍스트 코퍼스에서 학습된 장기 의존성 모델링 능력을 그대로 활용해, 입력된 CSI 토큰 시퀀스의 복합적인 시간‑주파수 패턴을 학습한다. 파라미터 효율성을 위해 LLM 본체는 거의 동결(frozen) 상태로 유지하고, 어댑터와 출력 헤드만 미세조정한다. 이는 적은 학습 데이터로도 빠른 적응을 가능하게 하며, 다양한 이동성·채널 환경에 대한 제로‑샷 전이 성능을 확보한다. 실험에서는 3GPP TR 38.901 기반 UMa·UMi 시나리오, 다양한 사용자 속도(3 km/h120 km/h), SNR = 030 dB 조건을 포괄적으로 평가하였다. SCA‑LLM은 기존 RNN/LSTM/Transformer 기반 모델보다 평균 NMSE가 1.8 dB~2.4 dB 개선되었으며, 특히 고속 이동 상황에서 고주파 스펙트럼 정보를 활용한 이점이 두드러졌다. Ablation 연구에서는 (1) DCT 기반 스펙트럼 어텐션을 제거했을 때 성능 저하, (2) GAP만 사용했을 때 저주파 정보에 국한된 예측 오류, (3) LLM 전체를 미세조정했을 때 파라미터 비용 급증을 확인하였다. 이러한 결과는 스펙트럼‑주의 어댑터가 도메인 불일치를 효과적으로 완화하고, LLM의 순차 학습 능력을 무선 채널 예측에 최적화하는 핵심 역할을 함을 입증한다. 또한, 제안된 프레임워크는 CSI‑예측 외에도 채널 기반 리소스 스케줄링, 빔포밍 사전 계획 등 AI‑RAN 전반에 적용 가능한 범용 세계 모델로 확장 가능성을 시사한다.