다중왜곡 통합 복원을 위한 듀얼‑브랜치 병렬 네트워크 DBP‑Net

초록

DBP‑Net은 마스킹 기반 억제 경로와 매핑 기반 복원 경로를 동시에 운영하며, 두 브랜치 간 파라미터 공유와 교차 스킵‑퓨전을 통해 잡음·잔향·대역폭 저하를 동시에 처리한다. 경량 구조임에도 불구하고 기존 최고 성능 모델들을 능가하는 음성 품질 및 스펙트럼 복원 지표를 달성한다.

상세 분석

본 논문은 실제 환경에서 동시에 발생하는 잡음, 잔향, 대역폭 감소라는 복합 왜곡을 하나의 통합 모델로 해결하고자 한다. 핵심 설계는 두 개의 평행 브랜치를 두고, 하나는 Sigmoid 활성화를 이용해 마스크를 예측함으로써 저주파 영역의 잡음·잔향을 억제하고, 다른 하나는 ReLU 기반 매핑을 통해 손실된 고주파 성분을 재생성한다는 점이다. 두 브랜치는 동일한 Conformer‑기반 인코더와 동일 파라미터를 공유함으로써 모델 용량을 최소화하면서도 서로 보완적인 특징을 학습한다. 특히 교차‑스킵‑퓨전 메커니즘은 억제 브랜치에서 얻은 저주파 스펙트럼을 가중치 α(학습 가능한 파라미터)와 함께 매핑 브랜치에 더해, 고주파 재생성 과정에 깨끗한 저주파 정보를 제공한다. 이는 기존에 입력‑스킵을 직접 연결하면 잡음이 재유입되는 문제를 회피하면서도, 두 작업(억제와 복원)의 상호 보완성을 극대화한다.

모델 백본은 두 단계 Conformer 구조를 채택한다. 첫 단계는 시간 축을 따라 self‑attention과 convolution을 결합해 장기적 시간 의존성을 포착하고, 두 번째 단계는 주파수 축을 따라 동일 과정을 적용해 스펙트럼 상관관계를 학습한다. 이러한 설계는 억제와 복원 모두에서 필요한 시‑주파 간의 복합 패턴을 효과적으로 표현한다.

손실 함수는 시간‑도메인 L1, 스펙트럼 L2, 복소수 스펙트럼 L2, PESQ 기반 메트릭 손실, 그리고 위상 anti‑wrapping 손실을 가중치 γ로 조합한 다중‑레벨 손실이다. 이는 신호의 전반적인 왜곡 감소와 동시에 청감적인 품질 및 위상 정확성을 보장한다.

실험에서는 VCTK‑DEMUND 데이터와 다양한 방실·필터링 조건을 이용해 3가지 왜곡을 동시에 적용한 데이터셋을 구축하였다. 평가 지표는 CSIG, CBAK, COVL, PESQ, STOI, SRMR, LSD 등 7가지이며, DBP‑Net은 파라미터 2.05 M으로 가장 작은 규모임에도 불구하고 모든 지표에서 기존 VoiceFixer(122 M), HD‑DEMUCS(24 M), SGMSE+(65 M)를 크게 앞선다. 특히 스킵‑퓨전 없이(α=0) 실험했을 때와 파라미터 공유를 제거했을 때 성능이 현저히 떨어지는 점은 제안된 두 핵심 메커니즘의 중요성을 입증한다.

요약하면, DBP‑Net은 억제‑생성이라는 두 학습 패러다임을 하나의 경량 네트워크에 통합하고, 파라미터 공유와 교차‑스킵‑퓨전을 통해 복합 왜곡에 대한 강인성을 확보한 혁신적인 일반 음성 복원 프레임워크라 할 수 있다.