이중시각 예측 확산을 통한 경량 음성 향상

초록

**
DVPD는 스펙트로그램을 시각적 텍스처와 물리적 주파수 표현이라는 두 관점에서 동시에 활용하는 경량 예측‑확산 모델이다. Frequency‑Adaptive Non‑uniform Compression(FANC) 인코더로 저주파는 보존하고 고주파는 압축해 스펙트럼 효율을 높이며, Lightweight Image‑based Spectro‑Awareness(LISA) 모듈로 이미지적 특징을 저비용으로 추출한다. 추론 시 Training‑free Lossless Boost(TLB) 전략을 적용해 추가 학습 없이 품질을 향상시킨다. 실험 결과, 파라미터와 MAC이 각각 35 %·40 % 수준인 PGUSE 대비 동등하거나 우수한 성능을 달성한다.

**

상세 분석

**
DVPD 논문은 기존 스코어 기반 확산 모델이 스펙트로그램을 단순 2차원 이미지로 취급해 발생하는 비효율성을 근본적으로 해결하고자 한다. 저자는 스펙트로그램이 “시각적 텍스처”와 “음향 물리량”이라는 이중성을 갖는다는 점을 강조하고, 이를 설계 전반에 반영한다. 첫 번째 핵심은 Frequency‑Adaptive Non‑uniform Compression(FANC) 인코더이다. FANC은 인간 청각의 비선형 주파수 해상도를 모방해 저주파(0‑2 kHz)는 거의 압축하지 않고, 중·고주파는 단계적으로 압축한다. 이를 구현하기 위해 서로 다른 팽창(dilation) 크기의 3×3, 3×5, 3×7 커널을 사용해 수직(시간) 트랜시언트와 수평(주파수) 하모닉을 각각 최적화한다. 결과적으로 저주파의 중요한 조화 성분은 보존되고, 고주파의 중복 정보는 크게 감소한다.

두 번째 핵심은 Lightweight Image‑based Spectro‑Awareness(LISA) 모듈이다. LISA는 전역 의존성을 포착하는 Omni‑Directional Attention Mechanism(ODAM)과 동적 커널 생성, 스트라이프 동적 컨볼루션, 이중 경로 정제의 3단계 필터링 파이프라인을 결합한다. 전역 컨텍스트를 GAP(Global Average Pooling) 후 1×1 컨볼루션으로 압축해 동적 커널을 생성하고, 이를 기반으로 비정형 스트라이프 컨볼루션을 수행한다. 마지막 단계에서 구조적 안정성을 위한 정규화된 특징과 세부 디테일을 강조하는 두 경로를 가중합함으로써, 이미지적 텍스처와 음향적 세부 정보를 동시에 강화한다.

예측‑확산 병렬 구조는 두 브랜치를 상호 보완적으로 동작시킨다. 예측 브랜치는 FANC 인코더‑디코더를 통해 결정론적 스펙트럼을 빠르게 복원하고, 확산 브랜치는 동일한 FANC 인코더를 사용해 노이즈‑섞인 스펙트럼을 잠재공간에 매핑한다. Frequency‑aware Interaction(FI) 모듈이 두 브랜치의 잠재 표현을 교차 정합시켜, 확산 단계에서 예측 브랜치의 안정적인 priors를 주입한다. 이렇게 하면 확산 과정에서 필요한 샘플링 스텝 수가 크게 감소한다.

추론 단계에서 제안된 Training‑free Lossless Boost(TLB) 전략은 사전 학습된 모델 파라미터를 그대로 유지하면서, 각 샘플링 스텝마다 피처 스케일을 동적으로 재조정한다. 이는 별도의 파인‑튜닝 없이도 품질을 일정 수준 이상 끌어올릴 수 있게 한다. 최종 출력은 예측 브랜치의 복원된 위상과 확산 브랜치에서 생성된 고품질 magnitude를 α 가중치로 선형 결합해 얻는다.

실험에서는 VCTK‑Noisy, DNS‑2023, WSJ0‑2mix 등 다양한 데이터셋과 다중 왜곡 상황을 테스트하였다. PESQ, STOI, SI‑SDR 등 주요 지표에서 DVPD는 PGUSE 대비 0.1‑0.3 dB 수준의 개선을 보였으며, 파라미터 수는 35 % 이하, MAC은 40 % 이하로 크게 경량화되었다. 또한, ablation study를 통해 FANC, LISA, FI, TLB 각각이 성능에 미치는 기여도를 정량화하였다. 전체적으로 DVPD는 스펙트로그램의 이중성을 효과적으로 활용해 경량화와 고품질을 동시에 달성한 최초의 예측‑확산 모델이라 할 수 있다.

**