다이내믹 프루닝 마스크로 부가 신호 특성 추정하기

초록

본 논문은 동적 채널 프루닝(DynCP) 기반 음성 향상 네트워크의 내부 마스크를 활용해 별도 모델 없이 VAD, 잡음 분류, F0 등 다양한 부가 신호 특성을 추정할 수 있음을 보인다. 이진 마스크를 입력으로 하는 선형·로지스틱 회귀 모델만으로도 VAD 93 % 정확도, 잡음 분류 84 % 정확도, F0 추정 R² 0.86을 달성했으며, 연산량 증가가 거의 없다는 장점을 강조한다.

상세 분석

이 연구는 기존의 음성 향상(SE) 시스템에 부가적인 모듈(VAD, SNR 추정, 잡음 분류 등)을 별도로 탑재하는 것이 연산·전력·프라이버시 측면에서 비효율적이라는 문제의식에서 출발한다. 동적 채널 프루닝(DynCP)은 입력에 따라 특정 채널을 비활성화함으로써 실시간 연산량을 조절하는 기술이며, 각 블록에 삽입된 게이팅 서브넷이 생성하는 이진 마스크가 입력 신호의 특성을 반영한다는 선행 관찰을 기반으로 한다.

논문은 먼저 Conv‑FSENet 기반의 DynCP 모델을 학습시킨 뒤, 각 프레임마다 생성되는 마스크 텐서 G를 수집한다. 전체 채널 중 변동성이 거의 없는(표준편차 < τ) 마스크는 정보량이 적으므로 필터링하고, 남은 202개의 이진 특성을 ˜G로 정의한다. 이때 ˜G는 시간 축을 따라 L × C* 형태이며, 각 원소는 0/1 값이다.

부가 작업은 크게 이산형(음성 활동 검출, 성별·악센트·잡음 카테고리 분류)과 연속형(입력·향상된 SNR, SI‑SDR, PESQ, 기본 주파수 F0)으로 나뉜다. 각각에 대해 선형 회귀(연속형) 혹은 로지스틱 회귀(이산형)를 적용하고, ℓ2 정규화(α = 0.01)를 통해 과적합을 방지한다. 중요한 점은 마스크가 이진이므로 연산이 단순한 가중치 합으로 구현돼, 실제 디바이스에 적용 시 추가 연산 비용이 무시 수준에 머문다.

실험에서는 VoiceBank+DEMAND 데이터셋을 이용해 30분 훈련·30분 테스트 데이터를 구성하고, 9개의 처리 블록(각 블록당 128채널)으로 구성된 SE 모델을 사용했다. 마스크 필터링 후 202개의 특성은 전체 채널의 약 18 %에 해당한다. 베이스라인으로는 노이즈 입력의 로그 스펙트럼(257 차원)과 모델이 예측한 억제 마스크(257 차원)를 사용했으며, 추가 실험으로는 첫 2블록만 사용한 67개 특성, 선형 회귀 계수 기반 상위 64개 특성, 이진화 전 원시 점수(˜R) 등을 비교했다.

결과는 다음과 같다. VAD와 잡음 분류에서 이진 마스크 기반 모델이 베이스라인을 크게 앞섰으며, 특히 VAD는 93 % 정확도와 0.97 ROC‑AUC를 기록했다. 성별·악센트 분류는 음성 활동이 있는 프레임에 한정했을 때 각각 88 %·81 % 정확도를 보였다. 회귀 작업에서는 입력 SNR에 대한 R² 0.78, 향상된 SNR에 대한 R² 0.84, SI‑SDR에 대한 R² 0.71, PESQ에 대한 R² 0.68, F0에 대한 R² 0.86을 달성했다. 또한, 마스크를 평균화해 얻은 임베딩을 이용한 화자 검증 실험에서 EER 12.3 %를 기록, 이는 STFT 로그 스펙트럼 기반 임베딩(10.1 %)보다 약간 낮지만, 연산량이 현저히 적은 점이 장점이다.

시각화(t‑SNE) 결과는 마스크가 잡음 종류, 음성 유무, 성별 등에 따라 클러스터링되는 경향을 보여, 게이팅 서브넷이 실제로 입력 신호의 고차원 특성을 압축해 학습하고 있음을 확인한다. 또한, 상위 64개 특성의 회귀 계수를 살펴보면 초기 블록보다는 중·후반 블록의 채널이 음성 활동과 잡음 레벨을 더 민감하게 구분한다는 패턴이 드러난다.

이 논문이 제시하는 주요 기여는 (1) DynCP 마스크가 단순히 연산량을 줄이는 역할을 넘어, 입력 신호의 다양한 메타 정보를 내재하고 있음을 실증적으로 입증한 점, (2) 이러한 정보를 별도 복잡한 모델 없이 선형/로지스틱 회귀로 추출함으로써 실시간 시스템에 거의 비용을 추가하지 않고 부가 기능을 제공할 수 있음을 보인 점이다. 향후 연구에서는 마스크를 다중 작업 학습에 직접 활용하거나, 마스크 기반 임베딩을 더 정교한 화자 인증·스피커 적응에 적용하는 방안을 탐색할 여지가 있다.