통합형 보코더 프리 오디오 초해상도 모델 UniverSR

초록

UniverSR는 보코더 없이 흐름 매칭 기반 생성 모델을 이용해 저해상도 오디오의 고해상도 스펙트럼을 직접 복원하고 iSTFT로 파형을 재생성한다. 48 kHz 전반적인 고품질 복원을 달성하며, 기존 두 단계 방식보다 파라미터와 추론 속도에서 효율적이다.

상세 분석

본 논문은 오디오 슈퍼레졸루션(ASR) 분야에서 가장 큰 병목 중 하나인 멜‑스펙트로그램 → 보코더 파이프라인을 완전히 제거한다는 점에서 혁신적이다. 기존 확산 기반 방법은 고해상도 멜을 생성한 뒤 사전 학습된 보코더에 의존해 위상 정보를 복원했지만, 보코더의 품질 한계와 추가적인 후처리 단계가 전체 성능을 제약했다. UniverSR는 복소수 스펙트럼을 직접 모델링하는 흐름 매칭(Flow Matching, FM) 기법을 도입한다. 구체적으로, 저해상도 신호를 sinc 보간으로 길이를 맞춘 뒤 STFT를 수행하고, 저주파 대역 Xₗ을 조건으로 고주파 스펙트럼 Xₕ를 흐름 매칭 네트워크가 예측한다. 이때 벡터 필드 추정기(VFE)는 ConvNeXt‑V2 블록을 기반으로 한 U‑Net 구조이며, 저주파 스펙트럼, 주파수 위치 임베딩, 전역 컨텍스트(시간·샘플링 레이트) 등을 FiLM 방식으로 결합해 풍부한 조건 정보를 제공한다.
조건부 흐름 매칭은 t∈