LSTM 기반 d‑벡터를 활용한 최신 스피커 다이어리제이션

본 논문은 스피커 다이어리제이션 시스템을 설계·평가함에 있어, 기존의 i‑벡터 기반 파이프라인을 대체할 수 있는 LSTM 기반 d‑벡터와 비모수적 스펙트럴 클러스터링을 제안한다. 서론에서는 스피커 다이어리제이션이 “누가 언제 말했는가”를 파악하는 핵심 기술이며, 전통적으로는 음성 세그멘테이션 → 특성 추출(i‑벡터 등) → 클러스터링 → 필요시 재세그멘테이션 순으로 진행돼 왔다고 설명한다. 최근 딥러닝 기반 d‑벡터가 텍스트‑독립적인 스피커 검증에서 i‑벡터를 능가한다는 점을 근거로, 이를 다이어리제이션에 적용하고자 한다. 2절에서는 LSTM 기반 텍스트‑독립 d‑벡터 모델을 상세히 소개한다. 입력은 25 ms 프레임, 10 ms 스트라이드의 40‑차원 로그‑멜 필터뱅크이며, 3‑layer LSTM(각 레이어 768 유닛, 256 차원 프로젝션) 뒤에 선형 레이어가 이어진다. 대규모 음성 검색 로그(약 36 M 발화, 18 K 화자)로 사전 학습된 이 모델은 고정 길이 윈도우(실험에서는 240 ms)마다 마지막 타임스텝 출력을 d‑벡터로 사용한다. VAD를 통해 음성 구간을 추출하고, 최대 400 ms 길이의 비중첩 세그먼트로 나눈 뒤, 각 세그먼트 내 d‑벡터를 L2 정규화 후 평균해 세그먼트 임베딩을 만든다. 이렇게 얻어진 임베딩을 클러스터링에 투입한다. 3절에서는 네 가지 클러스터링 방식을 제시한다. (1) Naïve 온라인 클러스터링은 코사인 유사도 기반 임계값을 적용해 새로운 클러스터를 생성하거나 기존 클러스터에 할당한다. (2) Links 온라인 클러스터링은 확률적 모델링을 통해 클러스터의 서브구조를 추정한다(세부 내용은 별도 논문에 기술). (3) K‑Means 오프라인 클러스터링은 K‑Means++ 초기화와 “엘보우” 방법을 이용해 화자 수를 추정한다. (4) Spectral 오프라인 클러스터링은 핵심 기여로, 어피니티 행렬 A(코사인 유사도) 위에 일련의 정제 과정을 적용한다. 정제 단계는 (a) 가우시안 블러(σ)로 노이즈 완화, (b) 행별 p‑백분위수 임계값 적용, (c) 대칭화(max), (d) 확산(Y = X Xᵀ)으로 경계 강화, (e) 행별 최대 정규화로 스펙트럼 스케일 조정이다. 정제된 행렬에 고유값 분해를 수행하고, 최대 고유값 간격을 통해 클러스터 수 k를 자동 결정한다. 이후 상위 k개의 고유벡터를 새로운 임베딩 공간으로 투사하고, K‑Means++로 최종 라벨링한다. 이 과정은 스피커 데이터가 비가우시안, 불균형, 계층적 구조를 갖는다는 특성을 효과적으로 보완한다. 4절에서는 실험 설정과 결과를 상세히 보고한다. i‑벡터와 d‑벡터 각각에 대해 네 가지 클러스터링을 적용했으며, 두 모델 모두 동일한 VAD와 세그멘테이션 파이프라인을 사용했다. i‑벡터는 13‑차원 PLP + delta, 512‑Gauss GMM‑UBM, 100‑차원 토탈 변동 행렬, LDA 차원 축소(50)로 구성되었다. d‑벡터는 앞서 설명한 LSTM 구조이다. 평가 데이터는 CALLHOME American English, NIST RT‑03 CTS, NIST SRE 2000 CALLHOME(다국어)이다. DER, FA, Miss, Confusion을 모두 보고했으며, 특히 d‑벡터 + Spectral 조합이 CALLHOME에서 12.0% DER(Confusion 2.2%, FA 2.2%, Miss 4.6%)을 달성해 기존 연구(12.1%~14.5% DER)보다 우수했다. 또한, d‑벡터 기반 시스템은 i‑벡터 대비 전반적으로 5~10%p 낮은 DER을 보였으며, 최적 윈도우 크기와 스텝은 각각 240 ms와 120 ms였다. 오프라인 클러스터링이 온라인보다 일관되게 좋은 성능을 보였으며, 온라인 방식에서는 화자 수 추정 오류가 빈번해 ‘burn‑in’ 단계 도입이 제안된다. 5절에서는 결과를 논의한다. 비모수적 스펙트럴 클러스터링이 비가우시안, 불균형, 계층적 특성을 완화함을 확인했으며, 어피니티 행렬 정제 파라미터가 성능에 큰 영향을 미친다. 재세그멘테이션을 추가하면 DER을 추가로 1~2%p 낮출 수 있을 것으로 예상된다. 또한, 현재 모델은 영어 음성 검색 로그만으로 학습했음에도 다국어 CALLHOME에서 경쟁력 있는 성능을 보였으며, 이는 d‑벡터가 언어에 비교적 강인함을 시사한다. 향후 연구는 (1) 도메인 적응을 통한 다국어 학습, (2) 실시간 온라인 스펙트럴 클러스터링 최적화, (3) VAD와 세그멘테이션 개선을 통한 FA/Miss 감소 등을 제시한다. 결론적으로, 이 논문은 LSTM 기반 d‑벡터와 정교한 스펙트럴 클러스터링을 결합함으로써 스피커 다이어리제이션에서 기존 i‑벡터 기반 방법을 뛰어넘는 성능을 달성했으며, 도메인 외 데이터만으로도 높은 일반화 능력을 입증한다. 이는 향후 실용적인 다중 화자 인식 시스템 구축에 중요한 기반이 될 것이다.