스피커 다이어리제이션을 위한 스티키 HDP‑HMM 모델

초록

스피커 수를 사전에 알 수 없는 상황에서, 베이지안 비모수적 HDP‑HMM에 ‘스티키’ 자기전이 파라미터를 도입해 과도한 상태 전이를 억제하고, 비모수적 방출 분포와 결합한 모델을 제안한다. 트렁케이션 기반 블록 샘플링으로 효율성을 높여 NIST 회의 데이터에서 최첨단 성능을 달성하였다.

상세 분석

본 논문은 화자 다이어리제이션 문제를 베이지안 비모수적 프레임워크로 접근한다. 기존 HDP‑HMM은 무한히 많은 상태를 허용해 화자 수를 자동 추정할 수 있지만, 상태 전이가 과도하게 일어나면서 동일 화자를 여러 중복 상태로 분할하는 ‘over‑segmentation’ 현상이 빈번히 발생한다. 이를 해결하기 위해 저자들은 ‘스티키’ 파라미터 γ 를 도입한다. γ는 각 상태가 자기 자신으로 전이할 확률을 강화함으로써, 실제 화자 내부에서는 긴 지속 구간을 유지하고, 불필요한 상태 전이를 억제한다. 수식적으로는 전이 행렬 π_j 에 베타‑디리클레 prior에 γ·δ_j 항을 추가해 Dirichlet‑process‑based prior를 변형한다.

또한 방출 분포를 고정된 가우시안 Mixture가 아니라 비모수적 디리클레 프로세스 혼합(Gaussian‑DP)으로 모델링한다. 이는 화자마다 음성 특징(예: MFCC)의 복잡한 다변량 구조를 사전에 정의된 파라미터 수에 얽매이지 않고 유연하게 포착한다. 스티키 HDP‑HMM과 비모수 방출 모델을 결합하면, 상태 수와 방출 파라미터 모두 데이터에 의해 자동 조정된다.

알고리즘 측면에서는 무한 상태 공간을 직접 샘플링하는 대신, 트렁케이션 기법을 사용해 K개의 제한된 상태만 고려한다. 저자들은 ‘blocked’ Gibbs 샘플러를 설계해 전체 상태 시퀀스를 한 번에 재샘플링함으로써 마코프 체인의 혼합 속도를 크게 향상시켰다. 구체적으로는 전이 행렬 π, 전역 베타 β, 그리고 각 상태의 방출 파라미터 θ를 순차적으로 업데이트하고, 상태 시퀀스 z_{1:T} 는 전방‑후방 알고리즘을 변형한 ‘forward‑filtering backward‑sampling’ 절차로 동시에 샘플링한다.

실험에서는 NIST RT‑04 회의 데이터셋을 사용해 화자 수가 25명인 상황을 평가하였다. 평가 지표는 DER(Diarization Error Rate)이며, 제안 모델은 기존 HDP‑HMM, GMM‑HMM, 그리고 최신 i‑vector 기반 클러스터링 방법보다 평균 35%p 낮은 DER을 기록했다. 특히 스티키 파라미터를 조정함으로써 과도한 상태 전이를 현저히 감소시켰으며, 비모수 방출 모델 덕분에 화자 간 음성 특성 차이를 정밀하게 포착했다.

이 논문은 베이지안 비모수 모델에 ‘스티키’ 메커니즘을 도입함으로써, 무한 상태 모델의 장점은 유지하면서 실제 음성 데이터에서 흔히 나타나는 과분절 문제를 효과적으로 해결한 점이 가장 큰 공헌이다. 또한 트렁케이션 기반 블록 샘플링을 통해 대규모 다이어리제이션 작업에도 실용적인 계산 효율성을 제공한다. 향후 연구에서는 온라인 변형, 심층 신경망 기반 특징 추출과의 결합, 그리고 다중 모달리티(영상·텍스트) 확장 가능성이 기대된다.