음성 복합 스펙트럼을 위한 딥 생성 모델

초록

본 논문은 STFT의 크기와 위상을 동시에 모델링하기 위해 변분 오토인코더(VAE) 기반의 딥 생성 모델을 제안한다. 크기는 가우시안, 위상 및 그 파생량인 그룹 딜레이(GD)와 순간 주파수(IF)는 von Mises 분포를 가정하고, 이를 손실함수에 포함시켜 학습한다. 인코더‑디코더 구조는 각각 인코더, 크기 디코더, 위상 디코더로 구성되며, 위상 디코더는 추정된 크기에 조건화된다. 다양한 손실 조합을 실험한 결과, GD 손실을 포함한 모델이 가장 높은 객관적 품질(MOS ≈ 2.5)과 intelligibility(STOI ≈ 0.79)를 달성했으며, 위상 자체보다 파생량의 정확도가 재구성 품질에 큰 영향을 미침을 확인하였다.

상세 분석

이 연구는 기존의 magnitude‑only 접근법과 별도 위상 복구 절차를 통합하는 새로운 패러다임을 제시한다. VAE 프레임워크를 차용해 관측된 복소 스펙트럼 (|S|,∠S)을 잠재 변수 z에 매핑하고, z로부터 magnitude와 phase를 각각 복원한다는 구조는, 기존의 magnitude‑only VAE가 전력 스펙트럼을 모델링하던 방식을 확장한 형태다.

크기 a₍f,n₎는 평균 µₘₐg와 분산 σ²ₘₐg를 갖는 정규분포로 가정하고, 손실 Lₘₐg는 NLL 형태에 분산 정규화 항 L₍var₎를 추가해 분산을 작게 유지하도록 유도한다. 이는 magnitude 재구성 정확도를 높이는 동시에, 이후 phase‑related 손실이 과도하게 영향을 미치는 것을 방지한다.

위상 ψ₍f,n₎는 von Mises 분포를 따르며, 평균 µₚₕₐ와 집중도 κₚₕₐ를 파라미터화한다. NLL 형태의 Lₚₕₐ는 Bessel 함수 I₀(·)를 포함해 계산 복잡도가 높지만, 위상 오류를 각도 단위로 직접 최소화한다는 장점이 있다. 특히, 논문은 ψ의 파생량인 그룹 딜레이(주파수 축 미분)와 순간 주파수(시간 축 미분)에도 동일한 von Mises 모델을 적용한다. GD와 IF는 실제 ψ̂에서 차분을 통해 추정되며, L₍grd₎와 L₍ifr₎는 각각의 NLL 손실로 정의된다. 이 두 파생량은 위상 연속성 및 TF 도메인 일관성을 강제하는 역할을 하며, 실험 결과는 GD 손실이 전체 재구성 품질에 가장 큰 기여를 함을 보여준다.

아키텍처는 2‑D 컨볼루션 기반의 DenseNet‑U‑Net 혼합 형태이며, 인코더‑디코더 각각에 Dense Block, Transition Block, Temporal Block(시간 축 dilated conv) 등을 배치해 주파수‑시간 양방향 정보를 충분히 포착한다. latent 차원 D=32, 파라미터 수 ≈1.7 M으로 비교적 가벼운 모델이다. 학습은 두 단계로 진행한다. 1단계에서는 magnitude‑only 손실(L₍reg₎+L₍mag₎+L₍var₎)로 인코더와 magnitude 디코더를 사전 학습하고, 2단계에서 phase 디코더를 추가해 전체 손실 L₍J₎=L₍M₎+L₍P₎를 최적화한다. L₍P₎는 L₍pha₎, L₍grd₎, L₍ifr₎ 중 하나 혹은 조합으로 구성한다.

평가에서는 CHiME‑4의 깨끗한 음성을 사용해 재구성 품질을 MOS와 STOI로 측정했다. 베이스라인인 magnitude‑only 모델(M)은 위상을 무작위로 샘플링해 MOS ≈ 1.96, STOI ≈ 0.69를 기록했으며, 위상 손실을 포함한 모델(J2)은 MOS ≈ 3.34, STOI ≈ 0.77까지 크게 향상되었다. 특히 GD 손실을 포함한 J3와 J4는 MOS ≈ 2.18–2.51, STOI ≈ 0.73–0.80 수준을 보였고, L₍grd₎와 L₍ifr₎를 동시에 가중 평균한 J5는 MOS ≈ 3.71, STOI ≈ 0.79로 가장 높은 객관적 품질을 달성했다. Griffin‑Lim 후처리를 적용하면 MOS가 3.9 ~ 4.0 수준으로 추가 향상되지만, 제안 모델 자체만으로도 충분히 실용적인 품질을 제공한다.

핵심 인사이트는 (1) 위상 자체보다 GD·IF와 같은 파생량을 직접 최적화하는 것이 재구성 품질에 더 큰 영향을 미친다. (2) magnitude와 phase를 하나의 공동 잠재 공간에 매핑함으로써, 두 스펙트럼 요소 간의 상관관계를 학습할 수 있다. (3) VAE 기반 비지도 학습이 가능함에도 불구하고, 파라미터화된 확률 분포(가우시안·von Mises)를 이용한 손실 설계가 성능을 크게 끌어올린다. 향후 연구에서는 파생량 가중치를 동적으로 조정하거나, 복소 스펙트럼 전체를 직접 모델링하는 흐름 기반 모델과 결합하는 방안을 탐색할 여지가 있다.