다중언어 화자 식별·다이어리제이션 통합 파이프라인

초록

본 논문은 NCIIPC Startup India AI Grand Challenge PS‑06 과제를 위해 다중언어·코드스위칭 음성 데이터를 처리하는 통합 파이프라인을 제안한다. 핵심은 자체 개발한 다중 커널 합의 스펙트럴 클러스터링 기반 화자 다이어리제이션이며, VAD, 화자 임베딩, 화자·언어 식별, ASR, NMT 모듈을 순차·병렬로 결합한다. 실험 결과, Silero‑VAD와 ECAPA‑TDNN 임베딩을 활용한 시스템이 높은 VAD 정확도(≈94 %)와 화자 식별 정확도(≈88 %)를 달성했으며, 전체 파이프라인은 BLEU ≈0.21 수준의 번역 성능을 보였다.

상세 분석

이 연구는 인도 보안 분야의 실시간 음성 분석 요구를 충족시키기 위해, 저자들이 자체적으로 설계한 다중 커널 합의 스펙트럴 클러스터링(MK‑CSC) 방식을 화자 다이어리제이션에 적용한 점이 가장 큰 특징이다. 기존 Spectral Clustering 대비 커널 다양성(지수·아크코사인)과 15‑nearest‑neighbour 그래프 구축을 통해 클러스터 경계의 견고함을 강화했으며, 이는 특히 코드스위칭·코드믹싱이 빈번한 다중언어 데이터에서 화자 구분 오류를 크게 감소시켰다.

VAD 단계에서는 Silero‑VAD 모델을 그대로 사용했으며, 10 ms 프레임 단위 평가에서 Precision 0.9956, Recall 0.9946을 기록해 전처리 단계의 신뢰성을 확보했다. 화자 임베딩은 VoxCeleb‑사전학습 ECAPA‑TDNN을 활용했으며, 16 kHz로 리샘플링 후 1 s 윈도우·0.5 s 오버랩으로 추출한다. 임베딩 추출 후 적용된 무감독 클러스터링은 기존 k‑means 기반 방법보다 DER(CSC) = 24.72 % (전체 평균)로 개선되었다.

화자 식별(SID)에서는 동일 화자에 대한 평균 임베딩을 centroid로 삼고, 코사인 유사도로 스코어링한다. 후처리로 median filtering을 적용해 급격한 라벨 변동을 완화했으며, 최적 임계값(Δ = 0.3147)을 통해 IER = 8.34 %를 달성했다. 이는 enrollment speaker가 단일 파일(ID16)만으로도 충분히 구분 가능함을 보여준다.

언어 식별(LID)은 VoxLingua107 기반 ECAPA‑TDNN 임베딩에 로지스틱 회귀를 fine‑tune한 모델을 사용했다. 3 s 청크 단위로 추출된 임베딩을 20개의 mock 파일로 학습시켰으며, DER(CSC) = 21.42 %를 기록, 다중언어·코드스위칭 환경에서도 비교적 안정적인 언어 라벨링을 제공한다.

ASR 단계는 Whisper‑Small.en(영어)와 ai4bharat IndicWhisper‑hi(힌디어·펀자브) 두 모델을 병행한다. 언어 라벨에 따라 모델을 선택하고, 펀자브 텍스트는 Devanagari→Gurmukhi 변환을 수행한다. 파일 수준 WER은 0.7464, 유효 세그먼트 기준 0.7919로, 데이터의 타임스탬프 오류에도 불구하고 일관된 성능을 유지한다.

마지막으로 NMT는 IndicTrans2(힌디어→영어)와 Opus‑MT(펀자브→영어)를 사용했으며, beam size = 5로 번역한다. BLEU = 0.209는 아직 개선 여지가 있음을 시사한다.

전체 파이프라인은 모듈 간 인터페이스를 CSV 기반으로 정의해 재현성을 높였으며, 저자들은 오픈소스 SpeechBrain 스크립트를 기반으로 구현했다. 다만, 평가 데이터가 제한적이고, 일부 파일은 SNR이 낮아(5 dB 이하) 성능 편차가 발생할 수 있다. 또한, 화자 식별에서 enrollment가 단일 파일에 국한된 점은 실제 운영 환경에서 다중 enrollment 시나리오에 대한 확장성을 검증해야 한다는 과제를 남긴다. 전반적으로, 저자들의 접근 방식은 저자들이 제안한 MK‑CSC 클러스터링이 다중언어·코드스위칭 상황에서 실용적인 화자 다이어리제이션을 가능하게 함을 실증적으로 보여준다.