공간 일반화 위상 일관성 기반 실시간 음원 카운팅

초록

본 논문은 공간 일반화 위상 제곱 코히런스(GMSC)를 이용해 화이트 노이즈 배경에서 활성 음원의 변화를 실시간으로 탐지하는 DNN 기반 온라인 소스 카운팅 방법을 제안한다. 화이트닝을 통해 공간 코히런스를 저역화하고, GMSC 값을 프레임 단위 특징으로 추출한 뒤 경량형 TCN·GRU 네트워크에 입력한다. 실험은 2채널 청각 보조기(바이노럴)와 4명까지의 화자, 다양한 잡음·잔향 조건에서 수행했으며, 프레임 단위 정확도가 91.9 %에 달해 기존 임계값 기반 방법을 크게 능가한다.

상세 분석

이 연구는 다중 마이크로폰 기반 음성 처리 시스템에서 가장 기본이면서도 실시간성이 요구되는 “활성 음원 수” 추정을 문제 정의의 출발점으로 삼는다. 기존의 단일 마이크 DNN 기반 카운팅은 혼합 신호 자체를 직접 추정해야 하므로 연산량과 지연이 크게 늘어나며, 다중 마이크 접근법은 보통 DOA(방향) 추정이나 클러스터링에 의존해 사전 마이크 배열 정보가 필요했다. 논문은 이러한 한계를 극복하기 위해 “공간 코히런스”라는 물리적 특성을 활용한다. 화이트 노이즈가 공간적으로 백색(공분산 행렬이 대각)일 때, 단일 코히런트 소스가 존재하면 전체 공분산에 랭크‑1 성분이 추가되어 코히런스가 급격히 상승한다는 점을 이용한다.

핵심 아이디어는 두 단계로 구성된다. 첫 번째는 “시간 역방향 화이트닝”이다. 현재 프레임의 공분산 행렬 R_y(t)를 과거 프레임 R_y(t‑Δ)와 비교해 차분 형태로 화이트닝함으로써, 기존에 활성화된 소스들의 공분산을 제거하고 새로운 소스가 추가될 때만 남는 랭크‑1 변화를 강조한다. 두 번째는 이 화이트닝된 공분산에서 주파수별 GMSC 값을 계산하는데, GMSC는 최대 고유값을 정규화한 형태로 0~1 사이의 스칼라 값을 제공한다. 이 값은 주파수 대역별로 스펙트럼 형태를 유지하면서도 마이크 수에 독립적이며, 활성화·비활성화 이벤트를 각각 γ_act(t)와 γ_deact(t)라는 두 개의 연속적인 시계열로 만든다.

이후 두 시계열을 각각 1‑D 컨볼루션 기반 Temporal Convolutional Network(TCN)와 순환 구조인 Gated Recurrent Unit(GRU)로 학습시킨다. TCN은 넓은 수용 영역을 빠르게 확보해 급격한 변화를 포착하고, GRU는 장기 의존성을 보강한다. 네트워크는 매우 경량화돼 실시간 처리에 적합하며, 프레임당 2‑3 ms 정도의 지연만을 초래한다.

실험 설계는 바이노럴 보청기 시뮬레이션 환경을 채택했다. 마이크 배열은 인간 두 귀 사이 거리(≈18 cm)로 설정하고, 방의 잔향시간(T60)을 0.30.6 s로 변동시켰으며, 백색 잡음과 실내 잡음(사람 대화, 기계음) 등을 혼합했다. 화자는 14명까지 동시 발화하도록 하였고, SNR은 0 dB~20 dB 구간을 커버했다. 평가 지표는 프레임 단위 정확도와 평균 절대 오차(MAE)였으며, 제안 방법은 91.9 % 정확도와 0.12 MAE를 기록, 기존 임계값 기반 방법(≈78 % 정확도)과 비교해 현저히 우수했다. 또한, 네트워크 파라미터 수가 30 k 이하로, 모바일 DSP에서도 구현 가능함을 입증했다.

이 논문의 주요 공헌은 다음과 같다. ① 공간 코히런스를 물리적 변화를 감지하는 신호 처리 전처리 단계로 도입해, 복잡한 마이크 배열 모델링 없이도 소스 수 변화를 정확히 포착한다. ② 시간 역방향 화이트닝을 통해 과거 활성 소스를 자동으로 “제거”함으로써, 순수히 새로운 소스에 대한 반응만을 학습시킨다. ③ GMSC 기반 특징을 주파수 독립적으로 설계해, 마이크 수와 배열 형태에 강인한 일반화를 달성한다. ④ 경량 TCN·GRU 구조를 활용해 실시간 지연을 최소화하면서도 높은 정확도를 유지한다. 이러한 접근은 청각 보조기, 회의 시스템, 로봇 청취 등 실시간 다중 음원 인식이 요구되는 다양한 응용 분야에 바로 적용 가능하다.