그래프 신경망 기반 엔드투엔드 학습으로 다중 사용자 MIMO 시스템 최적화

초록

본 논문은 그래프 신경망(GNN)을 이용해 송신기의 변조기와 수신기의 검출기를 공동 설계하는 엔드투엔드(E2E) 학습 프레임워크를 제안한다. 학습된 별도 별자리(constellation)와 GNN 기반 MUI(다중 사용자 간섭) 제거 기법을 통해 고MUI 환경에서 약 2 dB, 저MUI 환경에서 최대우도(ML) 검출기보다 우수한 SER 성능을 달성한다.

상세 분석

이 연구는 기존 DNN 기반 E2E 설계가 다중 사용자 간섭(MUI)을 충분히 모델링하지 못한다는 한계를 정확히 짚어낸다. GNN은 노드와 엣지를 통해 사용자 간 상호작용을 그래프 형태로 표현함으로써, 변조 단계에서 별자리 점들 간의 유클리드 거리 정보를, 검출 단계에서는 채널 행렬에 내재된 MUI 관계를 자연스럽게 포착한다. 변조기(GNN tx)는 각 별자리 점을 노드로, 점 사이 거리를 엣지 특성으로 사용해 여러 차례 메시지 패싱 후 정규화 과정을 거쳐 전력 제약을 만족하는 학습된 별자리 집합을 생성한다. 검출기(GNN rx)는 기존 EP(Expectation Propagation)와 GNN을 교번 적용하는 구조로, EP가 제공하는 초기 cavity 확률을 GNN이 정교히 다듬어 MUI를 억제한다. 특히 GNN rx는 복소수 심볼 확률을 직접 출력하도록 설계돼, 기존 GEPNet이 실수·허수 부분을 별도로 처리하던 복잡성을 제거한다. 학습 목표는 크로스 엔트로피 손실을 최소화하는 것이며, 양쪽 네트워크 파라미터를 동시에 역전파한다. 오프라인 학습 후에는 베이스스테이션이 학습된 별자리 정보를 모든 사용자에게 브로드캐스트하고, 온라인 추론 단계에서는 추가 연산량이 기존 GEPNet 수준에 머무른다. 실험에서는 4×4 MU‑MIMO 환경에서 16‑QAM 대비 2 dB 향상을 보였으며, 특히 MUI가 약한 경우 ML 검출기보다 낮은 SER을 기록한다. 이는 GNN이 MUI 구조를 효과적으로 학습함으로써 전통적인 최적 검출기보다 더 나은 전역 최적해에 근접함을 의미한다. 복잡도 분석에서도 GNN tx와 GNN rx의 연산량이 기존 방법과 동등하거나 약간 낮아, 실제 5G·6G 시스템에 적용 가능한 실용성을 확보한다.