스피커 다이어리제이션을 위한 트리플렛 네트워크와 어텐션

본 논문은 스피커 다이어리제이션의 핵심 전처리 단계인 화자 구분을 기존 i‑vector 기반 접근법에서 벗어나, 원시 음성 특징을 직접 활용하는 엔드‑투‑엔드 모델로 전환한다는 목표를 갖는다. 서론에서는 멀티미디어 콘텐츠 급증에 따라 자동 색인·분석 기술이 필요함을 강조하고, 스피커 다이어리제이션이 화자 정보를 사전 지식 없이 추출하는 문제임을 설명한다. 기존 연구는 i‑vector를 추출한 뒤, 코사인 거리나 PLDA와 같은 전통적 메트릭을 사용하거나, 트리플렛 네트워크와 같은 딥 메트릭 학습을 적용했지만, 특징 추출과 메트릭 학습이 분리돼 최적화가 제한적이었다는 점을 지적한다. 관련 연구 파트에서는 i‑vector의 한계와 최근 딥러닝 기반 메트릭 학습(시암 네트워크, 트리플렛 네트워크)의 동향을 정리한다. 특히, LSTM 기반 시퀀스 모델링과 어텐션 메커니즘이 음성 처리에 적용된 사례를 언급하며, 어텐션이 장기 의존성을 효율적으로 포착하고 학습 속도가 빠른 장점을 가지고 있음을 강조한다. 제안된 접근법은 크게 세 단계로 구성된다. 첫째, 2초 길이의 비중첩 세그먼트로 음성을 나누고, 25 ms 윈도우·15 ms 오버랩으로 60차원 MFCC(Δ, ΔΔ 포함)를 추출한다. 둘째, 추출된 시퀀스를 멀티‑헤드 셀프‑어텐션 네트워크에 입력한다. 어텐션 레이어는 두 번(L = 2) 쌓이며, 각 레이어는 8개의 헤드(H = 8)를 사용해 다양한 시간적 패턴을 학습한다. 입력 임베딩은 1‑D 컨볼루션(커널 = 1, ReLU)으로 전처리하고, 위치 인코딩을 더해 순서 정보를 보완한다. 마지막으로 시간 차원을 평균 풀링해 256차원 고정 임베딩을 얻는다. 셋째, 얻은 임베딩에 트리플렛 손실을 적용한다. 배치 내에서 M명의 화자를 무작위로 선택하고, 각 화자당 B/M개의 세그먼트를 샘플링한다. 앵커, 양성, 음성 샘플을 구성하고, 반‑하드 음성 샘플( D_rp² ≤ D_rn² ≤ D_rp² + α )을 선택해 손실을 계산한다. 트리플렛 마진 α와 배치 내 화자 수 M은 개발 셋에서 NMI와 Purity를 기준으로 그리드 탐색을 통해 최적화하였다. 실험 결과, α = 0.8, M = 64가 가장 좋은 성능을 보였다. 학습은 TEDLIUM 코퍼스(≈200 시간, 1,211명 화자)에서 수행했으며, 전체 배치 크기 B는 256으로 제한하였다. 학습 과정에서 2D t‑SNE 시각화를 통해 임베딩이 화자별로 명확히 구분되는 것을 확인했으며, 개발 셋에서 NMI와 Purity가 0.94에 달했다. 평가 단계에서는 CALLHOME 코퍼스(6개 언어, 780개 대화, 2~7명 화자)를 사용했다. 학습된 모델로 각 세그먼트의 임베딩을 추출한 뒤, x‑means를 통해 화자 수를 추정하고, 추정된 수를 기반으로 k‑means 클러스터링을 수행했다. 기존 i‑vector + 트리플렛 방식과 비교했을 때, 제안 모델은 DER(화자 오류율)에서 평균 2 %p 이상의 개선을 보였으며, 특히 데이터가 제한된 상황에서도 견고한 성능을 유지했다. 논문의 주요 기여는 (1) i‑vector 추출 과정을 완전히 제거해 파이프라인을 단순화하고 학습 데이터 요구량을 크게 감소시켰다는 점, (2) 멀티‑헤드 어텐션을 통해 시간적 특징을 효과적으로 학습함으로써 화자 구분에 유리한 임베딩을 생성했다는 점, (3) 트리플렛 손실을 사용해 임베딩 공간을 명확히 구분하도록 최적화함으로써 간단한 Euclidean 거리 기반 클러스터링만으로도 높은 정확도를 달성했다는 점이다. 한계점으로는 어텐션 연산의 메모리·연산 비용이 크고, 현재는 고정된 2초 세그먼트와 MFCC에만 의존한다는 점을 들 수 있다. 향후 연구에서는 더 긴 컨텍스트, 다양한 음성 특징(예: 로그멜스펙트로그램), 변형된 트리플렛 손실(가중치 부여) 및 화자 수 추정 방법의 개선 등을 탐색할 계획이다.