복소값 신경망 기반 파형 생성기

초록

ComVo는 복소값 신경망(CVNN)을 이용해 iSTFT 기반 보코더를 구현한 모델이다. 생성기와 판별기 모두 복소 연산을 수행하며, 위상 양자화와 블록‑매트릭스 연산을 도입해 학습 안정성과 효율성을 높였다. 실험 결과, 기존 실수값 기반 보코더 대비 음질이 향상되고 학습 시간이 25 % 단축되었다.

상세 분석

본 논문은 파형 생성 분야에서 복소값 신경망(CVNN)의 활용 가능성을 체계적으로 검증한다. 기존 iSTFT 기반 보코더들은 실수값 네트워크(RVNN)를 사용해 복소 스펙트럼의 실수·허수 성분을 별도 채널로 처리했으며, 이는 실수와 허수 사이의 상호 의존성을 충분히 모델링하지 못한다는 한계가 있었다. ComVo는 생성기와 판별기 모두 복소 연산을 네이티브하게 수행하도록 설계함으로써, 복소 스펙트럼을 하나의 통합된 엔터티로 다루어 실수·허수 간의 구조적 관계를 보존한다.

핵심 기법으로는 첫째, 복소값 GAN 프레임워크를 도입해 복소 도메인에서의 적대적 학습을 가능하게 했다. 복소 다중해상도 판별기(cMRD)는 여러 STFT 해상도에서 복소 스펙트럼을 직접 입력받아 실수·허수 모두에 대한 손실을 동시에 최적화한다. 둘째, 위상 양자화(Phase Quantization) 레이어를 추가해 위상 정보를 이산화하고, 직선 통과 추정기(STE)를 이용해 역전파 시 그래디언트를 그대로 전달한다. 이는 위상 드리프트를 억제하고 학습을 안정화시키는 역할을 한다. 셋째, 복소 연산을 블록‑매트릭스 형태로 재구성해 네 개의 실수‑곱셈을 하나의 행렬 연산으로 통합하였다. 이 구현은 GPU 병렬성을 극대화하고 메모리 접근을 최소화해 훈련 시간을 약 25 % 절감한다.

실험에서는 LibriTTS와 MUSDB18‑HQ 데이터셋을 사용해 객관적 지표(MOS, UTMOS, PESQ, MR‑STFT 등)와 주관적 청취 평가를 수행했다. ComVo는 HiFi‑GAN, iSTFTNet, BigVGAN, Vocos 등 최신 실수값 기반 보코더에 비해 모든 지표에서 우수한 성능을 보였으며, 특히 위상 관련 지표(MR‑STFT, Periodicity)에서 현저한 개선을 나타냈다. 또한, 제어 실험으로 경량 MLP‑GAN을 복소와 실수 형태로 학습시킨 결과, 복소 모델이 magnitude와 phase 분포를 더 정확히 재현함을 확인했다.

이러한 결과는 복소값 신경망이 복소 스펙트럼을 직접 다루는 경우, 데이터의 내재된 위상·진폭 상관관계를 더 효과적으로 학습할 수 있음을 시사한다. 또한, 블록‑매트릭스 연산과 위상 양자화는 복소 네트워크의 실용적 적용을 위한 중요한 엔지니어링 기법으로 평가된다. 향후 연구에서는 복소값 디퓨전 모델, 고해상도 멀티밴드 스펙트럼, 그리고 실시간 인퍼런스 최적화 등으로 확장할 여지가 있다.