다중 왜곡에 강인한 DiT‑Flow 기반 음성 향상

초록

DiT‑Flow는 잠재 공간에서 흐름 매칭(Flow Matching)을 이용한 확산 변환기(DiT) 백본을 기반으로, 잡음·잔향·압축 등 복합 왜곡에 대해 강인한 음성 향상 모델을 제시한다. VAE‑압축된 라티스 특성을 활용하고, LoRA와 MoE를 결합한 파라미터 효율적인 적응 기법을 도입해 전체 파라미터의 4.9%만으로도 다섯 가지 미지 왜곡에 대해 기존 최첨단 모델을 능가한다.

상세 분석

본 논문은 최근 확산 모델과 흐름 매칭(Flow Matching, FM) 기반 생성 모델이 오디오 분야에서 보여준 성능을 음성 향상(SE) 문제에 적용한다는 점에서 의미가 크다. 기존 확산 기반 SE는 역 SDE를 수치적으로 풀어야 하므로 수천 단계의 반복 연산이 필요해 실시간 적용에 한계가 있었다. 반면 FM은 연속 정규화 흐름(CNF)의 시간‑가변 속도장(v_t)을 직접 학습함으로써, 단일 연속 변환으로 가우시안 잡음에서 목표 분포(깨끗한 음성)로 매핑한다. 이 deterministic한 변환은 샘플링 속도를 크게 단축시키며, 특히 라티스 공간에서 수행될 경우 연산량과 메모리 요구가 크게 감소한다.

DiT‑Flow는 이러한 FM을 잠재 Diffusion Transformer(DiT) 구조에 접목한다. 먼저 VAE를 이용해 원시 파형을 저차원 라티스(z)로 압축하고, DiT 백본은 트랜스포머 기반의 시퀀스‑투‑시퀀스 모델로 라티스 시퀀스에 대한 시간‑조건부 속도장 v_θ(z,t) 를 예측한다. 조건부 흐름 매칭 손실 L_CFM은 실제 라티스 샘플 x₁과 그에 대응하는 중간 상태 x_t 를 이용해 v_θ와 이론적 속도장 v_t 사이의 L2 차이를 최소화한다. 이 과정에서 역전파가 직접 라티스에 적용되므로, 고해상도 파형을 다루는 전통적인 확산 대비 학습 효율이 크게 향상된다.

데이터 측면에서 저자는 StillSonicSet이라는 새로운 합성 데이터셋을 구축했다. LibriSpeech, FSD50K, FMA 등 다양한 음성·음악 소스를 90개의 Matterport3D 실내 환경에서 복합 RIR(방향성, 장애물, 재질)과 Opus 압축(비트레이트 변동)까지 적용해, 잡음·잔향·압축이 동시에 존재하는 현실적인 시나리오를 재현한다. 이는 기존 정적 RIR 기반 합성 데이터가 갖는 공간·재질 다양성 부족을 보완한다.

적응 메커니즘으로 저자는 LoRA와 MoE를 결합한 Mixture‑of‑LoRA‑Experts(MoELoRA)를 제안한다. 백본 DiT는 완전히 고정하고, 각 전문가는 서로 다른 저‑랭크 업데이트(A_i,B_i) 로 구성된다. 입력 라티스에 대한 라우팅 네트워크가 Top‑k 전문가를 선택·가중합함으로써, 서로 다른 왜곡(예: 고주파 잡음 vs. 저주파 잔향) 에 대해 특화된 적응을 동시에 수행한다. 파라미터 관점에서 전체 모델 파라미터 대비 약 4.9%만 학습 가능 파라미터로 제한하면서도, 다섯 가지 미지 왜곡에 대해 기존 SOTA 확산·FM 기반 모델을 능가하는 성능을 기록한다.

실험 결과는 객관적인 PESQ, STOI, SI‑SDR 지표에서 DiT‑Flow가 평균 0.120.18 dB 정도의 개선을 보이며, 특히 압축 왜곡이 포함된 경우에 큰 이득을 나타낸다. 또한, 샘플링 단계가 12 단계로 축소돼 실시간 적용 가능성이 크게 높아졌다. 한계점으로는 라티스 차원 선택과 VAE 재구성 손실이 최종 파형 품질에 미치는 영향에 대한 정량적 분석이 부족하고, 실제 현장 녹음에 대한 직접 검증이 아직 이루어지지 않았다는 점을 들 수 있다. 향후 연구에서는 라티스 압축률 최적화, 도메인 적응을 위한 메타‑러닝 결합, 그리고 실시간 스트리밍 파이프라인에의 통합이 기대된다.