음성 세그먼트 클러스터링을 위한 특성 궤적 동적 시간 왜곡

본 연구는 동적 시간 왜곡(Dynamic Time Warping, DTW)이 음성 신호의 유사도 측정에 널리 사용되고 있으나, 전통적인 DTW가 전체 특성 벡터를 동시에 정렬함으로써 발생하는 절대 시간 동기화 제약이 음성 데이터의 비동기적 특성을 충분히 반영하지 못한다는 점을 지적한다. 이를 해결하기 위해 저자들은 Feature Trajectory DTW(FTDTW)라는 새로운 변형 알고리즘을 제안한다. FTDTW는 다차원 특성 벡터를 차원별 1차원 시계열, 즉 ‘특성 궤적’으로 분해하고, 각 차원에 대해 독립적인 DTW 정렬을 수행한다. 차원별 DTW 거리들을 합산하고 차원 수와 경로 길이의 합으로 정규화함으로써 최종 거리 값을 산출한다. 이 과정에서 각 차원의 시간 스케일이 서로 다를 수 있음을 허용하므로, 음성 신호가 갖는 자연스러운 비동기성을 보다 정확히 포착한다. 실험은 세 가지 데이터셋을 활용했다. 첫 번째는 TIMIT 코퍼스에서 트리폰(전후 문맥을 포함한 음소) 8,772개를 균형 있게 추출한 데이터셋이다. 두 번째는 아라비아 숫자 데이터셋(SADD)으로, 44명의 남성·여성 화자 각각이 0~9까지의 숫자를 10회씩 발화한 8,800개의 MFCC 특성 시퀀스를 포함한다. 세 번째는 TIMIT의 SI·SX 발화에서 무작위로 추출한 10개의 서브셋(총 12,318개)으로, 실제 음성 인식 환경에서 흔히 나타나는 불균형 분포를 재현한다. 특징 추출은 MFCC와 PLP 두 가지 방식을 사용했으며, 각각 13개의 기본 계수에 로그 에너지, 1차·2차 차분(Δ, ΔΔ)을 추가해 39차원 특성 벡터를 만든다. 프레임 간 5 ms 겹침을 적용해 10 ms 길이의 프레임을 추출하였다. 군집화는 Ward linkage를 이용한 Agglomerative Hierarchical Clustering(AHC)을 적용했으며, 거리 행렬에 클래식 DTW와 FTDTW 중 하나를 삽입했다. 군집 결과는 외부 라벨(트리폰 종류 또는 숫자)과 비교해 F‑measure와 정규화 상호정보(NMI)를 계산해 평가하였다. 실험 결과는 일관되게 FTDTW가 클래식 DTW보다 우수함을 보여준다. TIMIT 트리폰 데이터에서 MFCC 기반 실험은 FTDTW가 F‑measure를 약 12 % 상승시켰고, NMI도 0.05~0.07 포인트 향상되었다. PLP에서도 비슷한 개선이 관찰되었다. SADD 데이터셋에서는 FTDTW가 평균 9 % 이상의 F‑measure 향상을 기록했으며, NMI 역시 유의미하게 증가했다. 통계적 검증을 위해 수행한 paired t‑test에서 p < 0.001 로 모든 경우에서 유의미한 차이를 확인했다. 논문은 이러한 결과를 바탕으로 FTDTW가 “절대 시간 동기화”를 완화함으로써 음성 신호의 내재적 비동기적 변동을 보다 정확히 포착한다는 가설을 제시한다. 또한, 클러스터링 품질이 향상된 점은 FTDTW가 음성 패턴 발견, 비지도 학습, 하위 단위 자동 추출 등 다양한 응용 분야에 활용될 가능성을 시사한다. 저자는 FTDTW가 음성 외의 다른 시계열 데이터(예: 생체 신호, 금융 시계열)에서도 유사한 이점을 제공할 수 있을지에 대한 추가 연구가 필요함을 언급한다. 마지막으로, 클러스터링 결과에서 F‑measure가 특정 클러스터 수에서 피크를 보이는 현상은 실제 트리폰 종류 수와 비교해 과대 추정되는 경향을 보여, FTDTW가 제공하는 거리 척도가 클러스터 수 추정에도 활용될 수 있음을 암시한다.