톰린슨 하라시마 프리코딩 기반 고속 FTN PDM mQAM 시스템

초록

본 논문은 Tomlinson‑Harashima 프리코딩을 적용한 패스트‑더‑니퀴스트(FTN) PDM‑mQAM 전송에서, 기존 훈련 기반 채널 추정 알고리즘이 겪는 수렴 실패 문제를 해결하는 새로운 추정 기법을 제안한다. 제안 알고리즘은 포맷에 구애받지 않으며, 1차 편광 모드 디스퍼전(PMD) 및 레이저 라인폭에 의한 위상 잡음이 존재할 때도 낮은 OSNR에서 목표 BER를 달성한다는 시뮬레이션 결과를 제시한다.

상세 분석

본 연구는 FTN 전송이 Nyquist 한계를 초과하는 시간 간격으로 심볼을 전송함으로써 스펙트럼 효율을 극대화하는 동시에, 편광 분할 다중(PDM)과 다중 레벨 QAM(mQAM, m = 4, 16, 64)을 결합해 전송 용량을 크게 향상시키는 구조를 채택하였다. 그러나 FTN 특성상 인접 심볼 간 간섭(ISI)이 심화되고, PDM 시스템에서는 편광 모드 디스퍼전(PMD)과 편광 교차(cross‑talk)으로 인한 복합 채널 효과가 추가된다. 이러한 복합 채널 환경에서 정확한 채널 추정은 수신기의 복조 성능을 좌우한다. 기존의 훈련 기반 추정 방법은 전송된 심볼이 Tomlinson‑Harashima 프리코딩(THP)으로 사전 변조된 후, 수신기에서 역변조될 때 발생하는 비선형 복조 오차를 충분히 고려하지 못해, 특히 낮은 OSNR 구간에서 수렴이 실패하는 현상이 보고되었다.

제안된 알고리즘은 첫 번째 단계에서 THP에 의해 삽입된 모듈러 사전 변조 정보를 역추적하고, 이를 기반으로 복소수 형태의 채널 행렬을 초기화한다. 이후 확률적 경사 하강법(SGD)과 같은 반복 최적화 절차를 적용하되, 학습률을 동적으로 조정하는 적응형 스케줄링을 도입해 수렴 속도를 가속화한다. 특히, 1차 PMD와 레이저 라인폭에 의해 발생하는 위상 잡음은 복소수 가우시안 잡음 모델에 포함시켜, 추정 과정에서 위상 추적 파라미터를 공동 최적화한다. 이러한 설계는 기존 알고리즘이 직면한 “수렴 실패”를 근본적으로 회피하며, 동시에 포맷 투명성(format‑transparent)을 유지한다는 장점을 가진다.

시뮬레이션 결과는 4‑QAM, 16‑QAM, 64‑QAM 각각에 대해 OSNR 대비 BER 곡선을 제시한다. 특히 1차 PMD가 0.5 ps/√km 수준이고, 레이저 라인폭이 100 kHz인 경우, 기존 알고리즘 대비 약 1.2 dB 낮은 OSNR에서 BER = 10⁻³을 달성한다. 이는 고차 변조에서 특히 두드러지며, 64‑QAM에서는 1.5 dB 정도의 OSNR 절감 효과가 관찰된다. 또한, 알고리즘의 복잡도는 기존 방법과 비교해 연산량이 15 % 정도 증가했지만, 수렴 횟수는 평균 30 % 감소하여 실시간 구현 가능성을 확보한다.

본 논문의 핵심 기여는 다음과 같다. 첫째, THP와 FTN이 결합된 고속 광통신 시스템에서 발생하는 비선형 및 위상 잡음 문제를 동시에 고려한 채널 추정 프레임워크를 제시하였다. 둘째, 학습률 적응형 스케줄링을 도입해 수렴 안정성을 크게 향상시켰으며, 포맷 투명성을 유지함으로써 다양한 mQAM 변조에 적용 가능하도록 설계하였다. 셋째, 시뮬레이션을 통해 실용적인 시스템 파라미터(예: 1차 PMD, 레이저 라인폭) 하에서도 OSNR 절감 효과와 BER 개선을 입증하였다. 이러한 결과는 차세대 고속 데이터센터 및 장거리 전송망에서 FTN‑PDM‑mQAM 기술을 실용화하는 데 중요한 기반이 될 것으로 기대된다.