병렬 생성 음성 향상 프레임워크 ParaGSE

초록

ParaGSE는 그룹 벡터 양자화(GVQ) 기반 신경 음성 코덱을 활용해 손상된 음성을 독립적인 토큰으로 인코딩하고, 스펙트럼 특징에 조건화된 다중 병렬 예측 브랜치를 통해 깨끗한 토큰을 동시에 예측한다. 이를 코덱 디코더에 입력해 고품질의 깨끗한 음성을 복원하며, 기존 순차적 생성 방식에 비해 CPU 환경에서 1.5배 빠른 처리 속도를 달성한다.

상세 분석

ParaGSE 논문은 최근 급부상하고 있는 생성 기반 음성 향상(generative speech enhancement, GSE) 분야의 두 가지 핵심 문제—복잡도와 효율성—를 동시에 해결하고자 한다. 기존 GSE 모델들은 대규모 언어 모델(LLM)이나 잔차 벡터 양자화(RVQ)를 사용해 토큰을 순차적으로 예측함으로써 연산량이 급증하고, 실시간 적용이 어려웠다. 이 논문은 이러한 한계를 극복하기 위해 ‘그룹 벡터 양자화(GVQ)’라는 새로운 양자화 방식을 제안한다. GVQ는 인코더 출력 벡터를 N개의 그룹으로 나누고, 각 그룹마다 독립적인 코드북을 두어 토큰을 동시에 선택한다. 이렇게 하면 각 그룹이 서로 독립적인 토큰을 생성하므로, 토큰 예측을 병렬화할 수 있다.

GVQ 기반 코덱인 G‑MDCTCodec은 기존 MDCTCodec의 구조를 그대로 유지하면서도, RVQ 대신 GVQ를 적용해 토큰 간 상관관계를 최소화한다. 실험 결과, GVQ가 적용된 코덱의 코딩 품질(LSD, STOI, VISQOL)은 RVQ 기반 코덱과 거의 차이가 없으며, 이는 독립적인 양자화가 음성 재구성에 큰 손실을 초래하지 않음을 입증한다.

ParaGSE의 핵심 아키텍처는 세 부분으로 구성된다. 첫째, 손상된 음성을 MDCT 스펙트럼으로 변환하고 다운샘플링한 뒤 BiLSTM과 Conformer 블록을 통해 고차원 스펙트럼 특징 ˆs를 추출한다. 둘째, G‑MDCTCodec 인코더와 GVQ를 이용해 손상된 음성을 N개의 토큰 시퀀스 d(y)ₙ(ₙ=1…N)로 변환한다. 셋째, 각 토큰 시퀀스와 스펙트럼 특징 ˆs를 입력으로 하는 N개의 병렬 예측 브랜치가 존재한다. 각 브랜치는 토큰을 임베딩 벡터 vₙ으로 매핑하고, vₙ과 ˆs를 결합해 BiLSTM‑Conformer 네트워크를 통과시킨 뒤 소프트맥스 출력 ˆp(x)ₙ을 얻는다. 교차 엔트로피 손실을 통해 예측된 토큰 ˆd(x)ₙ을 학습한다.

이 설계는 두 가지 중요한 장점을 제공한다. 첫째, 토큰 예측이 완전히 병렬화되므로 CPU 환경에서도 높은 처리 효율을 달성한다. 논문에서는 기존 순차적 GSE 모델 대비 1.5배 빠른 속도를 보고한다. 둘째, 토큰 예측이 독립적인 코드북에 기반하므로, 각 브랜치가 서로 간섭 없이 최적화될 수 있다. 이는 특히 다양한 왜곡(노이즈, 잔향, 대역 제한) 혼합 상황에서 강인한 성능을 보이는 원인으로 작용한다.

실험에서는 세 가지 전형적인 SE 시나리오(노이즈 제거, 잔향 제거, 혼합 왜곡 억제)를 대상으로, 기존 대표적인 시간‑도메인 회귀 모델(DEMUCS), 주파수‑도메인 판별 모델(CMGAN, MP‑SENet) 및 생성 모델(Genhancer)과 비교하였다. 객관적 지표(LSD, NISQA, DNSMOS, UTMOS)와 주관적 ABX 테스트 모두에서 ParaGSE는 특히 비침입형 품질 지표에서 경쟁 모델들을 능가하거나 동등한 수준을 유지했으며, LSD와 같은 침입형 지표에서는 약간 뒤처졌지만 이는 생성 모델이 원본 파형을 직접 복원하기보다 분포를 근사하는 특성 때문으로 해석된다.

또한, G‑MDCTCodec 자체의 코딩 품질 검증을 위해 MDCTCodec과 비교했을 때 LSD, STOI, VISQOL 모두 거의 동일한 수준을 유지함을 확인하였다. 이는 GVQ가 독립적인 양자화를 제공하면서도 음성 재구성에 필요한 정보를 충분히 보존한다는 중요한 증거이다.

전체적으로 ParaGSE는 ‘그룹 벡터 양자화’를 통한 토큰 독립성 확보, 스펙트럼 특징 기반 조건화, 그리고 완전 병렬 예측 브랜치라는 세 가지 혁신을 결합해, 기존 생성 기반 SE의 복잡도·효율성·품질 트리플 제약을 동시에 완화한다는 점에서 학술적·실용적 의의가 크다.