머신러닝 기반 디지털 백프로파게이션으로 저복잡도 장거리 단일 구간 시스템 최적화

초록

본 논문은 FFT 기반 향상된 스플릿‑스텝 푸리에(ESSFM) 구조에 머신러닝을 도입해 각 단계의 전파 거리와 비선형 위상 회전 필터를 공동 최적화한 L‑ESSFM을 제안한다. 170 km 단일 구간 5×93 GBd WDM 시스템에서 EDC 대비 0.8 dB 향상을 172 RM/2D(4단계) 복잡도로 달성했으며, 기존 ESSFM·LDBP 대비 복잡도‑성능 효율이 크게 개선되었다.

상세 분석

본 연구는 디지털 백프로파게이션(DBP)의 두 주요 저복잡도 접근법인 ESSFM과 LDBP의 장단점을 융합한 새로운 프레임워크인 L‑ESSFM을 제시한다. ESSFM은 전통적인 SSFM에서 비선형 단계에 필터링을 추가해 한 단계당 정확도를 높이고, FFT/IFFT 기반 구현으로 메모리 요구량이 로그 스케일로 증가한다는 장점이 있다. 그러나 기존 ESSFM은 단계별 파라미터를 고정하거나 제한된 자유도로만 최적화했으며, 최적화 과정이 수치적 제약에 의존해 전역 최적을 찾기 어려웠다. 반면 LDBP는 SSFM을 딥 뉴럴 네트워크와 동일시해 모든 단계의 FIR 계수를 학습하지만, 시간 영역 FIR 구현은 채널 메모리와 심볼 레이트에 따라 복잡도가 2차적으로 증가해 고속 전송에 부적합했다.

L‑ESSFM은 이러한 문제점을 해소하기 위해 각 단계의 선형 전파 거리 (L_i)와 비선형 위상 회전(NLPR) 필터 계수 (c_i)를 학습 가능한 파라미터로 설정하고, 이를 피드‑포워드 신경망의 레이어에 매핑한다. 선형 단계는 전통적인 GVD 전송 함수 (H_{\text{GVD}}(L_i)=\exp(-j2\pi^2\beta_2 f^2 L_i))를 사용하되, (L_i)를 학습을 통해 자유롭게 조정한다. 비선형 단계는 대칭적인 임펄스 응답을 갖는 실값 필터를 RFFT로 변환해 적용하며, 각 단계마다 독립적인 필터를 허용함으로써 전 단계 간 상호작용을 정밀히 모델링한다. 파라미터 수는 단계 수 (N_s)와 필터 길이 (N_c)에 따라 선형적으로 증가하지만, FFT 기반 구현 덕분에 전체 복잡도는 여전히 로그 스케일에 머문다.

학습은 오프라인에서 대량의 i.i.d. 복소 가우시안 심볼 블록을 사용해 지도 학습 방식으로 진행된다. 입력은 전송 후 섬광 잡음이 포함된 수신 샘플이며, 목표는 원본 전송 심볼이다. 초기값은 전통적인 ESSFM에서 사용되는 균등 거리 분할과 즉시 비선형 모델을 적용해 설정하고, 이후 역전파와 Adam 옵티마이저 등 표준 딥러닝 기법으로 파라미터를 최적화한다. 이렇게 얻어진 L‑ESSFM은 실시간 적용 시 기존 ESSFM과 동일한 FFT/IFFT 연산 흐름을 유지하면서도, 각 단계별 최적화된 거리와 비선형 필터 덕분에 적은 단계 수에서도 높은 정확도를 제공한다.

시뮬레이션 결과는 170 km SMF 단일 구간, 5채널 93 GBd DP‑64QAM WDM 시스템을 대상으로 한다. 복잡도는 실수 곱셈 기준 RM/2D(복소 심볼당 실수 곱셈 수)로 측정하였다. L‑ESSFM은 (N_s=4) (172 RM/2D)에서 EDC 대비 0.8 dB SNR 향상을 달성했으며, 동일 복잡도의 ESSFM보다 약 4배 높은 성능을 보였다. LDBP는 비슷한 이득을 얻으려면 2000 RM/2D 이상이 필요해 고속 전송에 비효율적이다. 또한 (N_s)를 늘리면 L‑ESSFM은 점차 이상적인 SSFM(무한 단계) 성능에 근접하지만, 복잡도 상승이 완만하게 진행된다. 이러한 특성은 장거리 인라인 증폭이 포함된 시스템이나 서브밴드 처리와 결합했을 때도 동일하게 적용될 가능성을 시사한다.

요약하면, L‑ESSFM은 FFT 기반의 저복잡도 구조에 머신러닝을 접목해 전통적인 제약을 해소하고, 단계별 파라미터를 자유롭게 최적화함으로써 복잡도 대비 성능을 크게 향상시킨다. 이는 차세대 데이터센터 인터커넥트 및 장거리 고속 광통신 시스템에서 실시간 DBP 구현을 위한 실용적인 솔루션으로 평가될 수 있다.