MIMO 딥러닝으로 광통신 비선형 한계 돌파

초록

본 논문은 코히어런트 광통신에서 결정적 케르(Kerr) 비선형성과 증폭기 잡음이 비선형으로 증폭되는 파라메트릭 노이즈를 동시에 보정할 수 있는 전자식 MIMO 딥러닝(equalizer)를 제안한다. 다중 입력·출력 구조의 신경망이 각 채널 간 교차왜곡과 주파수 변동성을 학습해 기존 디지털 백프로파게이션(DBP)이나 전통적 머신러닝 대비 높은 보정 효율을 보이며, 40 Gb/s 고스펙트럼 효율 신호 전송에서 기록적인 전송 거리와 오류율 개선을 달성한다.

상세 분석

이 연구는 광섬유 전송에서 가장 근본적인 용량 제한인 비선형 샤넌 한계를 ‘극복’한다는 주장으로 시작한다. 기존 접근법은 주로 결정적 케르 비선형성을 전산적으로 보정하는 디지털 백프로파게이션(DBP)이나 전통적인 선형/비선형 등화기를 사용했으며, 증폭기에서 발생하는 ASE(증폭된 자발 방출) 잡음이 비선형 매개변수와 결합해 발생하는 확률적 파라메트릭 노이즈(PNL)를 무시하거나 별도로 처리하지 못했다. 이러한 한계는 특히 고전력·고전송률, 장거리 전송에서 심각한 성능 저하를 초래한다.

논문은 이러한 문제를 해결하기 위해 ‘MIMO 딥러닝’이라는 전자식 다중입·출력 신경망을 설계한다. 입력은 각 서브캐리어의 복소수 전송 심볼(실부·허부)과 그 주변 채널의 인접 심볼을 포함하는 다차원 벡터이며, 출력은 보정된 심볼이다. 네트워크는 35개의 은닉층으로 구성되며, 각 층은 128256개의 뉴런을 갖고 ReLU와 복소수 전용 활성화 함수를 혼합해 비선형성을 효과적으로 모델링한다. 중요한 점은 ‘다중 입력·출력(MIMO)’ 구조가 채널 간 교차왜곡(CI‑XPM, XCI 등)과 주파수 의존성 잡음 변동을 동시에 학습하도록 설계됐다는 것이다. 이를 위해 훈련 데이터는 실제 전송 실험에서 수집한 2 TB 규모의 복소수 시퀀스로, 다양한 전송 거리(800 km~2000 km), 전력 레벨, 변조 형식(QPSK, 16QAM, 64QAM) 등을 포함한다.

학습은 지도학습 방식으로, 전송 전 원본 심볼을 레이블로 사용한다. 손실 함수는 복소수 MSE와 비트 오류율(BER) 기반 가중합을 채택해 심볼 정확도와 실제 전송 품질을 동시에 최적화한다. 또한, 과적합 방지를 위해 배치 정규화와 드롭아웃을 적용했으며, 학습률은 사이클릭 스케줄링으로 조절한다.

실험 결과는 두드러진 성능 향상을 보여준다. 동일한 전송 조건에서 MIMO 딥러닝은 DBP(10 스텝) 대비 2.3 dB의 OSNR 향상을 달성했고, 기존 비선형 등화기 대비 1.7 dB 개선을 기록했다. 특히 40 Gb/s 64QAM 전송에서 전송 거리 1500 km까지 오류율이 10⁻⁴ 이하로 유지되었으며, 이는 기존 최첨단 시스템이 1100 km 정도에서 한계에 도달하던 것과 비교해 30 % 이상의 거리 확장을 의미한다. 복잡도 측면에서는 MIMO 딥러닝이 GPU 가속 하에 실시간 처리 가능함을 입증했으며, 연산량은 DBP와 동등하거나 약간 낮은 수준으로 유지된다.

이러한 결과는 비선형 샤넌 한계가 ‘절대적인’ 물리적 한계가 아니라, 적절한 데이터‑드리븐 모델링을 통해 실질적으로 완화될 수 있음을 시사한다. 특히 확률적 비선형 잡음까지 포괄적으로 보정하는 MIMO 딥러닝 구조는 향후 400G·800G·1T 전송 시스템에서 핵심적인 디지털 신호 처리(DSP) 모듈로 자리 잡을 가능성을 열어준다.