서브 6 GHz 채널을 이용한 mmWave 빔 예측을 위한 지식 증류 기반 경량 딥러닝 모델

초록

본 논문은 대용량 딥러닝 모델이 요구하는 높은 연산·메모리 비용을 줄이기 위해, 서브 6 GHz 채널 정보를 이용해 mmWave 최적 빔을 예측하는 작업에 지식 증류(KD) 기법을 적용한다. 교사 모델을 사전 학습한 뒤, 개별 소프트 타깃을 활용하는 IKD와 채널 간 관계를 보존하는 RKD 두 가지 경량 학생 모델을 설계하였다. 실험 결과, 학생 모델은 파라미터와 FLOPs를 99 % 이상 감소시키면서 교사 모델과 거의 동일한 빔 예측 정확도와 스펙트럼 효율을 달성하였다.

상세 분석

이 연구는 mmWave 고이동 환경에서 빔 트레이닝 오버헤드를 감소시키기 위한 근본적인 접근법을 제시한다. 기존 연구들은 서브 6 GHz와 mmWave 사이의 공간적 상관관계를 이용해 빔을 예측했지만, 이를 구현하기 위해서는 수천 개 뉴런을 갖는 다층 완전연결망이나 복잡한 CNN이 필요했으며, 이는 실시간 서비스에 부적합한 수준의 연산·메모리 요구를 초래한다. 논문은 이러한 문제를 해결하고자 ‘지식 증류(Knowledge Distillation)’라는 모델 압축 기법을 도입한다.

먼저, 교사 모델은 4개의 은닉층에 각각 1024개의 뉴런을 배치한 대규모 MLP 구조로 설계돼, 서브 6 GHz 채널의 실·복소 성분을 2 · N_sub6 · K̅_sub6 차원의 입력 벡터로 받아들인다. 교사는 표준 교차 엔트로피 손실을 이용해 학습되며, 높은 정확도와 스펙트럼 효율을 달성한다.

학생 모델은 은닉층을 2개, 각 64개의 뉴런으로 축소한 초경량 MLP이다. 두 가지 증류 전략이 적용된다. 첫 번째인 개별 지식 증류(IKD)는 교사의 로짓을 온도 τ>1 로 부드럽게 만든 소프트 타깃과 실제 라벨을 동시에 사용해, 손실 L_IKD = α·CE(soft_T, soft_S) + (1‑α)·CE(hard_S, label) 로 학습한다. 여기서 α와 τ는 실험적으로 τ=10, α=0.9 로 설정돼, 교사의 확률 분포가 비최적 빔에 대한 유사성을 충분히 전달하도록 한다.

두 번째인 관계 지식 증류(RKD)는 교사와 학생이 추출한 중간 특징 벡터 사이의 거리와 각도 관계를 정량화한다. 정규화된 유클리드 거리 ψ_dist와 코사인 각도 ψ_ang을 각각 Huber 손실로 매칭함으로써, 학생이 채널 간 구조적 연관성을 학습하도록 유도한다. 이는 단순 로짓 매칭을 넘어, 입력 공간의 토폴로지를 보존하는 효과를 제공한다.

실험은 DeepMIMO의 O1 시나리오(28 × 64 안테나, 512 subcarrier 등)와 O1_3p5 설정을 사용해 수행됐다. 교사 모델은 3 477 568 파라미터와 6 940 816 FLOPs를 요구했지만, 학생 모델은 24 768 파라미터와 49 152 FLOPs 로 99.3 %의 복잡도 감소를 달성했다. 학습 수렴 측면에서도 KD를 적용한 학생은 12 epoch 만에 검증 손실이 최소화됐으며, 비증류 모델은 20 epoch 이상 수렴하지 못했다.

정확도 측면에서 SNR=15 dB 일 때 교사의 Top‑1 정확도는 68.90 %였고, RKD 학생은 66.36 %(≈95 %), IKD 학생은 63.92 %를 기록했다. Top‑3 정확도에서도 유사한 비율을 유지했다. 스펙트럼 효율(SE) 역시 교사와 거의 동일했으며, RKD 학생은 4.51 bits/s/Hz, IKD 학생은 4.39 bits/s/Hz 로 교사의 95 % 이상을 보존했다. 비증류 학생은 3.67 bits/s/Hz 로 현저히 낮았다.

이러한 결과는 (1) 지식 증류가 대규모 교사의 풍부한 정보를 소형 모델에 효과적으로 전달한다, (2) 관계 기반 증류가 채널 간 구조 정보를 보존해 일반화 성능을 향상한다, (3) 실시간 빔 예측이 요구되는 5G·6G 베이스스테이션에 경량 DL 모델을 적용할 수 있는 실용적 기반을 제공한다는 점을 시사한다.