주의 기반 MMSE: 트랜스포머로 학습하는 선형 OFDM 채널 필터

초록

본 논문은 트랜스포머 기반 주의 메커니즘을 이용해 선형 MMSE 필터를 학습하는 모델 기반 DNN 프레임워크 A‑MMSE를 제안한다. 두 단계의 주의 인코더로 주파수·시간 상관성을 효율적으로 포착하고, 학습 후에는 비선형 연산 없이 단일 선형 연산만으로 채널 추정을 수행한다. 또한, 필터 차원을 동적으로 조절하는 랭크 적응형 확장(RA‑A‑MMSE)을 도입해 복잡도‑성능 트레이드오프를 크게 개선한다. 시뮬레이션 결과, 다양한 SNR 및 고이동성 환경에서 기존 LS, LMMSE, 최신 DNN 기반 방법들을 능가하며, 연산량은 1 % 수준으로 크게 감소한다.

상세 분석

본 연구는 OFDM 시스템에서 채널 추정의 핵심 과제인 정확도와 실시간 연산 복잡도 사이의 균형을 혁신적으로 해결한다. 기존의 LMMSE는 정확도가 높지만 채널 통계(노이즈 분산, 상관 행렬) 추정이 어려워 실용성이 떨어진다. 반면, 최근 DNN 기반 방법들은 데이터에만 의존해 복잡한 비선형 매핑을 학습하지만, 수십만 개의 파라미터와 다중 활성화 함수로 인해 하드웨어 가속 효율이 낮고 메모리·전력 소모가 크다. 이러한 한계를 극복하기 위해 저자는 “모델 기반 딥러닝” 접근을 채택한다. 핵심 아이디어는 트랜스포머의 멀티헤드 셀프 어텐션을 이용해 채널의 2‑차 통계(공분산)를 직접 학습하고, 이를 선형 MMSE 필터 행렬로 변환하는 것이다. 학습 단계에서는 비선형 레이어와 잔차 연결을 포함한 복잡한 네트워크가 사용되지만, 최종 추정 단계에서는 학습된 필터 행렬을 곱하는 단일 행렬 연산만 수행한다. 따라서 추론 시에는 활성화 함수가 전혀 필요 없으며, 연산량이 O(NM·R) (R은 필터 랭크) 수준으로 크게 감소한다.

두 단계 어텐션 인코더 설계는 특히 주목할 만하다. 첫 번째 ‘주파수 인코더’는 서브캐리어 차원(N)에서 멀티헤드 어텐션을 적용해 주파수 간 상관성을 포착한다. 여기서 어텐션 헤드 수와 임베딩 차원을 N에 맞추어 설계함으로써, 채널의 주파수 선택 페이딩 특성을 효율적으로 학습한다. 두 번째 ‘시간 인코더’는 앞 단계의 출력(시간 축 M)으로 재구성하여 시간적 상관성을 모델링한다. 이렇게 계층적으로 상관 구조를 분리해 학습하면, 전통적인 2‑D 컨볼루션 기반 방법보다 파라미터 효율성이 높아진다. 인코더 출력은 잔차 완전 연결 네트워크에 전달돼 최종적으로 선형 필터 행렬(또는 저랭크 근사)을 생성한다.

랭크 적응형 확장(RA‑A‑MMSE)은 필터 행렬을 고정된 차원이 아닌, 필요에 따라 동적으로 차원을 조절할 수 있게 한다. 저랭크 근사는 고유값 분해 후 상위 K개의 특이값만 보존함으로써 연산량을 O(NM·K)로 줄인다. 실험에서는 K를 0.1~0.5 배로 감소시켜도 NMSE 손실이 미미했으며, 특히 저전력 디바이스나 엣지 컴퓨팅 환경에서 유용하다.

시뮬레이션은 3GPP COST2100 채널 모델(도시 마이크로셀, 고속 이동성 등)과 다양한 SNR(0~30 dB)에서 수행되었다. 결과는 A‑MMSE가 기존 LMMSE 대비 평균 56 % NMSE 감소, 최신 Channelformer 대비 72 % NMSE 감소를 달성함을 보여준다. 또한 RA‑A‑MMSE은 전체 연산량을 98.5 % 절감하면서도 원본 A‑MMSE 성능의 74 % 이상을 유지한다. SNR 불일치에 대한 강인성도 입증되어, 훈련 시와 다른 잡음 레벨에서도 성능 저하가 거의 없었다.

이러한 설계는 (1) 도메인 지식(선형 MMSE 구조)과 데이터‑드리븐 학습(트랜스포머)의 결합, (2) 비선형 연산을 배제한 추론 효율성, (3) 랭크 기반 복잡도 조절 메커니즘이라는 세 축을 통해 차세대 5G/6G 시스템에 실용적인 채널 추정 솔루션을 제공한다는 점에서 큰 의미를 가진다.