인코더 디코더 네트워크 기반 NMF 사전 업데이트를 통한 효율적 음성 변환

본 논문은 고차원 스펙트럼을 이용한 음성 변환(Spectral Conversion, SC)에서 기존 Exemplar‑based Nonnegative Matrix Factorization(ENMF) 방식이 요구하는 대규모 사전(베이스) 문제를 해결하고자, NMF를 인코더‑디코더 네트워크(Encoder‑Decoder Network, EDN)로 재구성하고 사전 업데이트를 미니배치 SGD 기반으로 수행하는 새로운 프레임워크를 제안한다. 1. **배경 및 문제점** - 음성 변환은 소스 화자의 스펙트럼과 프로소디를 타깃 화자의 특성으로 바꾸는 기술이며, SC는 주로 스펙트럼 변환에 초점을 맞춘다. - 기존 ENMF는 병렬 코퍼스에서 추출한 예시 프레임을 그대로 사전으로 사용한다. 품질을 높이려면 수천 개의 베이스가 필요하지만, 이는 메모리와 연산량을 크게 늘린다. 특히 STRAIGHT 스펙트럼처럼 513 차원의 고차원 특성을 다룰 때는 곱셈 업데이트가 비효율적이다. - 사전 업데이트가 가능하더라도, 비음수 제약과 고차원 데이터 때문에 기존 곱셈 기반 최적화는 수렴이 느리고 비용이 크다. 2. **제안 방법** - **NMF를 인코더‑디코더로 재해석**: ENMF의 활성코드 V를 추정하는 과정을 인코더 fΘ(·) 로, 사전을 이용한 재구성을 디코더 g(·) 로 본다. 인코더는 ReLU와 단위합 정규화를 적용해 비음수 출력을 보장한다. 디코더는 선형 변환 U·V 형태를 유지한다. - **두 개의 디코더**: 소스 사전 U_X와 타깃 사전 U_Y를 각각 디코더로 두어, 동일한 코드 V를 소스 재구성 및 타깃 변환에 동시에 활용한다. 이는 “공유 코드, 별도 사전” 구조를 만든다. - **학습 단계** - *Stage 1 – 인코더 학습*: 사전 U_X를 고정하고, 입력 스펙트럼 X와 재구성 X̂ 사이의 Kullback‑Leibler divergence(KLD)를 최소화한다. 미니배치 SGD와 Adam 옵티마이저를 사용해 100 epoch까지 학습한다. - *Stage 2 – 사전(디코더) 학습*: 인코더와 두 디코더를 동시에 업데이트한다. 손실은 α·D_KL(X, U_X·V̂) + (1‑α)·D_KL(Y, U_Y·V̂) 로 정의하며, α=0.15 로 설정해 재구성 정확도와 변환 정확도 사이의 균형을 맞춘다. 사전은 ReLU와 단위합 정규화를 거쳐 비음수·정규화된 형태를 유지한다. - **코드 희소성**: ReLU와 L1‑like 효과 덕분에 대부분의 활성값이 0이 되며, 프레임당 활성화되는 베이스는 약 100개 이하로 유지된다. 3. **실험 설정** - 데이터: VCC2016 병렬 영어 코퍼스, 5남5여 화자 중 2명씩을 소스·타깃으로 선정. intra‑gender와 inter‑gender 변환을 각각 평가. - 특징: STRAIGHT 스펙트럼(513 차원), AP, F0. 스펙트럼만 변환하고, F0는 선형 평균-분산 변환, AP와 에너지는 그대로 유지. 모든 스펙트럼은 단위합 정규화 후 사용. - Baseline: ENMF‑512 (512 베이스)와 ENMF‑3000 (3000 베이스) 두 가지. - 제안 모델: EDN‑512 (512 베이스, 2‑layer 1024‑노드 은닉층, ReLU, Adam). 학습률: 인코더 0.001, 사전 0.01 (0.1씩 감소). 4. **결과** - *객관적*: MCD(Mel‑cepstral distortion)에서 EDN‑512가 모든 변환 조건에서 가장 낮은 값을 기록, ENMF‑512 대비 평균 1.5 dB, ENMF‑3000 대비 평균 1.2 dB 개선. - *코드 분석*: 활성 행렬이 매우 희소하고 연속 프레임 간에 유사한 패턴을 보여, 시간적 부드러움과 화자 독립적인 음향 정보를 담고 있음을 확인. - *주관적*: ABX 청취 테스트에서 EDN‑512가 70 % 이상 선호되어, 작은 사전으로도 청취자에게 높은 품질을 제공함을 입증. 5. **의의 및 향후 과제** - 제안된 인코더‑디코더 프레임워크는 NMF의 비음수 행렬분해 특성을 유지하면서, 딥러닝 최적화 기법을 도입해 대규모 사전 없이도 고품질 변환이 가능함을 보여준다. - 현재는 프레임 단위 변환에 초점을 맞추었으며, 컨텍스트 정보를 활용한 시퀀스 모델링, GAN 기반 후처리, 실시간 구현 등에 대한 확장이 필요하다.