효율적인 온라인 엔드투엔드 신경 클러스터링 기반 화자 다이어리제이션

초록

본 논문은 EEND‑EDA 모델에 RNN 기반 스티칭 메커니즘과 새로운 센트로이드 정제 디코더를 도입한 O‑EENC‑SD 시스템을 제안한다. 2인 화자 전화 대화(CallHome)에서 DER을 9.33% 수준으로 낮추면서 버퍼와 연산량을 크게 줄이는 효율성을 보인다.

상세 분석

O‑EENC‑SD는 기존 EEND‑EDA 구조에 두 개의 트랜스포머 디코더(어트랙터 정제 디코더, 센트로이드 정제 디코더)를 추가하고, RNN(구체적으로 GRU) 기반의 온라인 신경 클러스터링을 이용해 청크 간 화자 순서를 맞춘다. 어트랙터 정제 디코더는 현재 청크의 프레임 임베딩만을 사용해 어트랙터를 미세 조정함으로써 연산 비용을 최소화한다. 새롭게 제안된 센트로이드 정제 디코더는 “ghost speaker” 임베딩을 포함한 교차‑어텐션을 통해 기존 센트로이드를 현재 어트랙터와 비교·보정한다. 이는 비활성 화자에 대한 자유도를 제공해, 새로운 화자가 등장하거나 기존 화자가 사라질 때 클러스터링 오류를 감소시킨다.

클러스터링 단계는 각 어트랙터를 C개의 기존 센트로이드 혹은 초기값 h₀와 매칭시키는 다중 클래스 분류 문제로 정의된다. 매칭 확률은 소프트맥스를 통해 얻으며, 교차 엔트로피 손실(L_cluster_CE)과 전역 다이어리제이션 손실(L_cluster_diar)을 동시에 최적화한다. 매칭이 확정되면 해당 어트랙터를 사용해 해당 센트로이드의 GRU 상태를 업데이트하고, 매칭되지 않은 센트로이드는 그대로 유지한다. 이러한 순환적 업데이트는 청크가 순차적으로 들어올 때마다 실시간으로 화자 정보를 축적한다.

학습은 두 단계로 진행된다. 첫 번째는 시뮬레이션된 전화 대화 데이터를 이용한 사전 학습(pre‑training)이며, 여기서는 10 s 청크를 1 s 비중첩 청크로 나누어 초기화한다. 두 번째는 실제 CallHome 개발 세트를 이용한 미세 조정(fine‑tuning)으로, 버퍼 크기와 레이턴시를 다양하게 설정해 모델의 견고성을 검증한다. 손실 함수는 전역·청크 수준 EEND‑EDA 손실을 각각 10배 가중치로 결합하고, 클러스터링 손실을 추가해 총 4개의 항목을 동시에 최소화한다.

실험 결과는 버퍼 크기와 레이턴시 간의 트레이드오프를 명확히 보여준다. 100 s FIFO 버퍼와 5 s 레이턴시 조합에서 DER 9.33%를 달성했으며, 버퍼를 무한대로 확장했을 때도 9.50% 수준을 유지한다. 특히, 센트로이드 정제 디코더를 제외한 베이스 모델은 15.38% DER에 머물렀지만, 해당 디코더만 추가해 12.69%까지 크게 개선되는 등 정제 디코더의 효과가 입증된다. 또한, 낮은 레이턴시(1 s)에서도 25 s 버퍼만 사용해 12.14% DER를 기록, 높은 레이턴시 모델을 낮은 레이턴시 환경에 적용했을 때보다 성능이 우수함을 확인했다. 이는 레이턴시가 클수록 청크‑레벨 EEND‑EDA가 더 정확한 어트랙터를 생성하고, 그 결과 클러스터링 단계에서의 오류가 감소하기 때문이다.

전체적으로 O‑EENC‑SD는 하이퍼파라미터 없이 클러스터링을 수행하고, 기존 온라인 EEND 기반 방법에 비해 연산량을 크게 절감하면서도 경쟁력 있는 DER을 달성한다. 특히, 버퍼와 청크가 겹치지 않는 완전 비중첩 설정에서도 좋은 성능을 보이는 점은 에지 디바이스나 실시간 스트리밍 환경에 적합함을 의미한다.