시간 주파수 인터리브드 이득 추출 및 재구성

초록

TIGER는 주파수 대역을 사전 지식에 따라 분할하고, 다중 스케일 선택적 어텐션과 전주파수‑프레임 어텐션을 결합한 FFI 블록으로 효율적인 시간‑주파수 도메인 음성 분리를 구현한다. 새롭게 제안한 EchoSet 데이터셋은 실제 환경의 잡음·반향을 정교하게 시뮬레이션하여 모델 일반화 능력을 검증한다. 실험 결과, TIGER는 파라미터와 MACs를 각각 94.3 %·95.3 % 감소시키면서 TF‑GridNet을 능가하는 성능을 달성한다.

상세 분석

본 논문은 저지연·저전력 음성 분리 시스템을 위한 경량 모델 설계와 현실적인 평가 데이터셋 구축이라는 두 축을 동시에 추구한다. 모델 설계 측면에서 가장 큰 혁신은 ‘밴드‑스플릿’ 전략이다. 기존 TF‑GridNet은 전체 주파수 스펙트럼을 동일하게 처리해 연산량이 크게 늘어나지만, TIGER는 인간 청각의 주파수 중요도 분포를 사전 지식으로 활용해 전체 주파수를 K개의 비동일 폭 서브밴드로 나눈다. 각 서브밴드는 1‑D 컨볼루션(커널 = 1)과 그룹 정규화를 통해 동일한 채널 차원 N으로 매핑되며, 이렇게 압축된 표현 Z∈ℝ^{N×K×T}가 분리기(Separator)의 입력이 된다.

Separator는 ‘Frequency‑Frame Interleaved (FFI)’ 블록을 여러 겹 쌓아 구성한다. FFI 블록은 Frequency Path와 Frame Path 두 개의 병렬 경로로 이루어져 있으며, 각각은 Multi‑Scale Selective Attention (MSA) 모듈과 Full‑Frequency‑Frame Attention (F³A) 모듈을 순차적으로 적용한다. MSA는 다중 스케일 다운샘플링(Stride = 2, 채널 = H)을 통해 다양한 주파수 해상도의 특징을 추출하고, 평균 풀링으로 동일 해상도로 맞춘 뒤 전역 특징 G와 로컬 특징 E_d를 선택적 어텐션(SA) 메커니즘으로 융합한다. 여기서 시그모이드 기반 가중치 σ(·)가 로컬 특징을 강조하거나 억제하고, 전역 특징을 residual 형태로 더해 정보 손실을 최소화한다. 디코딩 단계에서는 역‑스케일링을 수행하면서 SA를 다시 적용해 고해상도 특징을 복원한다.

F³A 모듈은 전주파수‑프레임 어텐션으로, 각 서브밴드에 대해 1×1 2‑D 컨볼루션으로 Query, Key, Value를 생성하고, 시간 차원 T와 채널 차원 E를 결합해 K×K 어텐션 맵을 계산한다. 이 맵은 서브밴드 간 상관관계를 포착해 전체 스펙트럼 정보를 효율적으로 교환한다. 이렇게 설계된 FFI 블록은 파라미터를 공유함으로써 모델 규모를 크게 억제하면서도, 주파수와 시간 양쪽의 장기 의존성을 동시에 학습한다.

데이터셋 측면에서는 기존 WSJ0‑2mix, WHAMR! 등은 잡음·반향을 단순히 합성했기 때문에 실제 실내 환경을 충분히 반영하지 못한다. 저자들은 물체 차폐, 재질 특성, 방 구조 등을 물리 기반 시뮬레이션에 포함시킨 EchoSet을 구축하였다. EchoSet은 두 화자의 음성이 임의의 겹침 비율로 혼합되고, 다양한 배경 잡음과 복합 반향이 적용돼, 모델의 일반화와 견고성을 보다 현실적으로 평가할 수 있다.

실험에서는 Libri2Mix, LRS2‑2Mix, EchoSet 세 데이터셋에 대해 TF‑GridNet, TDANet, SepFormer 등 기존 SOTA와 비교하였다. TIGER는 파라미터 94.3 % 감소, MACs 95.3 % 감소라는 극단적인 경량화를 달성했으며, 특히 EchoSet에서 SI‑SDR 기준 5 dB 정도 TF‑GridNet을 앞선 성능을 보였다. 실제 현장 녹음에 대한 테스트에서도 가장 높은 PESQ·STOI 점수를 기록, 실시간 모바일·IoT 디바이스에 적용 가능함을 입증한다.

요약하면, TIGER는 (1) 주파수 대역을 지능적으로 압축하는 밴드‑스플릿, (2) 다중 스케일 선택적 어텐션과 전주파수‑프레임 어텐션을 결합한 FFI 블록, (3) 현실적인 EchoSet 데이터셋을 통한 일반화 검증이라는 세 축을 통해, 저전력·저지연 음성 분리 분야에 새로운 패러다임을 제시한다.