딥러닝 기반 반경 예측을 통한 고성능 구면 디코딩

본 논문은 다중 입력 다중 출력(MIMO) 시스템에서 최대우도 디코딩(MLD)을 구현하기 위한 전통적인 구면 디코딩(sphere decoding, SD)의 복잡도 문제를 딥러닝(DL) 기법을 이용해 해결하고자 한다. 구면 디코딩은 수신 신호 y와 채널 행렬 H가 주어졌을 때, 정수 최소제곱(ILS) 문제를 “y와 가장 가까운 격자점”을 찾는 형태로 변환한다. 이때 탐색 범위를 제한하기 위해 반경 d를 설정하고, d 안에 존재하는 격자점만을 검사한다. 반경이 너무 작으면 최적 해가 포함되지 않아 디코딩 실패가 발생하고, 반경이 너무 크면 탐색해야 할 격자점 수가 급증해 복잡도가 비현실적으로 커진다. 기존 연구에서는 Babai 추정치 기반 반경, 잡음 통계 기반 반경, 혹은 반경을 점진적으로 확대하는 SD‑IRS(Incremental Radius Search) 등을 제안했지만, 채널 행렬 H와 잡음 통계 모두를 동시에 고려한 효율적인 반경 선택 방법은 부족했다. 이에 저자들은 딥 뉴럴 네트워크(DNN)를 이용해 반경을 사전에 학습하는 새로운 구면 디코딩 프레임워크를 제안한다. DNN의 입력은 실수·허수 형태로 전처리된 수신 신호 y와 채널 행렬 H의 모든 원소를 일렬로 나열한 벡터 x이다. 이 입력은 채널 상태와 잡음 수준을 모두 내포하고 있어, DNN이 “채널‑특정” 및 “SNR‑특정” 반경을 예측하도록 만든다. 출력은 q개의 거리값 ˆr_i (i=1…q)이며, 이는 실제 최적 거리와 가장 가까운 q개의 후보 반경을 의미한다. DNN은 오프라인 학습 단계에서 대규모 시뮬레이션 데이터를 이용해 평균 제곱 오차(MSE) 손실을 최소화하도록 훈련된다. 학습은 각 SNR 값마다 별도로 진행되며, 논문에서는 10×10 MIMO 시스템과 16‑QAM·64‑QAM 변조를 대상으로 220‑128‑q 구조의 3‑계층 DNN을 사용하였다. 은닉층의 활성화 함수는 클리핑된 ReLU(CReLU)이며, 이는 학습 안정성과 표현력을 동시에 확보한다. 실시간 디코딩 단계에서는 학습된 DNN을 통해 얻은 반경 벡터 ˆr를 순차적으로 적용한다. 구체적인 절차는 다음과 같다. 1) 수신 신호와 채널 행렬을 전처리해 입력 벡터 x를 구성한다. 2) DNN에 x를 입력해 q개의 반경 ˆr_i를 얻는다. 3) 첫 번째 반경 ˆr_1부터 시작해 구면 디코딩을 수행한다. 만일 현재 반경 안에 적어도 하나의 격자점이 존재하면 그 중 최소 거리 점을 최종 추정값 ˆs로 채택한다. 4) 첫 번째 반경으로 후보가 없으면 다음 반경 ˆr_2로 이동하고, q번째 반경까지도 실패하면 MMSE‑라운딩 혹은 NC(Nulling & Cancelling)와 같은 서브옵티멀 검출기로 복구한다. 이 과정에서 q는 복잡도와 성공 확률 사이의 트레이드오프를 조절하는 파라미터이며, 논문에서는 q=3을 사용하였다. 복잡도 분석에서는 기대 탐색 노드 수를 수학적으로 유도하고, 기존 SD‑IRS와 비교해 평균 및 최악 경우 모두 탐색해야 할 격자점 수가 현저히 감소함을 증명한다. 특히, DNN이 제공하는 반경이 실제 최적 거리와 매우 근접하면 q=1만으로도 최적 해를 찾을 수 있어 복잡도가 거의 최소화된다. 실험 결과는 10×10 MIMO, 16‑QAM 및 64‑QAM 환경에서 SNR 0 dB부터 30 dB까지 BER이 MLD와 거의 겹치면서도, 평균 탐색 노드 수는 기존 SD‑IRS 대비 70 % 이상 감소함을 보여준다. 또한, 최악 경우 복잡도도 크게 낮아 실시간 구현 가능성을 높였다. 본 연구의 주요 기여는 다음과 같다. (1) 채널 행렬과 잡음 통계를 동시에 고려한 데이터‑드리븐 반경 예측 메커니즘을 제시하였다. (2) 오프라인 학습만으로 실시간 디코딩 단계에서 복잡도를 크게 줄이면서 MLD 수준의 성능을 유지하였다. (3) 복잡도 분석을 통해 평균·최악 경우 모두 기존 방법보다 우수함을 이론적으로 입증하였다. (4) 고차 변조와 대규모 안테나 배열에서도 DNN이 안정적으로 반경을 예측함을 실험적으로 확인하였다. 향후 연구에서는 온라인 적응형 DNN, 다중 사용자 MIMO, 그리고 ASIC/FPGA 기반 하드웨어 구현을 통한 실시간 적용 가능성을 탐구할 계획이다.