소프트 클러스터링 앵커로 자가지도 음성 표현 학습 혁신

초록

본 논문은 Joint Embedding Predictive Architecture(JEPA) 기반 음성 자기지도 학습에서 발생하는 표현 붕괴 문제를 해결하기 위해, 로그‑멜 스펙트로그램에 한 번만 Gaussian Mixture Model(GMM)을 학습하고, 그 고정된 소프트 포스터리어를 보조 목표로 활용하는 GMM‑Anchored JEPA를 제안한다. 초기에는 GMM 손실이 강하게 작용하고, 훈련이 진행될수록 JEPA 손실이 점차 주도하도록 가중치를 선형 감소시킨다. 5만 시간 규모 데이터에서 ASR, 감정 인식, 슬롯 필링 등 다양한 다운스트림 과제에서 기존 WavLM 스타일 대비 유의미한 성능 향상을 보이며, 클러스터 엔트로피가 31%에서 98%까지 증가해 표현 붕괴가 크게 완화됨을 입증한다.

상세 분석

JEPA는 마스크된 입력에 대해 EMA(Exponential Moving Average) 교사 모델의 잠재 표현을 예측하도록 설계돼, 음성 분야에서는 음향적 기준이 부족해 학습 초기에 표현이 동일한 값으로 수렴하는 ‘표현 붕괴’ 현상이 빈번히 발생한다. 기존의 HuBERT·WavLM은 중간 표현에 대해 k‑means를 반복적으로 재클러스터링하여 이 문제를 완화했지만, 이는 계산 비용을 크게 늘리고, 하드 할당 방식 때문에 경계 영역의 불확실성을 손실한다. 논문은 이러한 한계를 극복하기 위해 로그‑멜 스펙트로그램에 K‑component 대각 공분산 GMM을 한 번만 학습하고, 그 소프트 포스터리어 qₖ(m)를 고정된 목표로 사용한다. 학습 단계에서는 두 개의 손실을 결합한다: (1) 마스크된 위치에서 학생 인코더가 교사 인코더의 잠재 zₜₑₐ₍ₜ₎를 MSE로 예측하는 JEPA 손실 L_JEPA, (2) 클러스터 헤드가 출력한 확률 pₖ와 GMM 포스터리어 qₖ 사이의 KL 다이버전스를 최소화하는 클러스터 손실 L_cluster. 전체 손실 L_total = L_JEPA + λ(t)·L_cluster이며, λ(t)는 훈련 초기에 1.0에서 최종 0.01까지 선형 감소한다. 초기 단계에서 강한 GMM 정규화가 음향 구조를 강제하고, 이후 JEPA 손실이 고차원 의미 정보를 학습하도록 유도한다.

실험은 약 50k 시간의 LibriLight Large와 English Granary 데이터를 사용했으며, Conformer와 Transformer 두 종류의 인코더에 동일한 GMM‑Anchoring을 적용했다. 결과는 다음과 같다. ASR(LibriSpeech dev‑clean)에서 GMM‑JEPA‑T는 28.68% WER를 기록, 동일한 컴퓨팅 조건의 WavLM‑style이 33.22% WER와 비교해 14% 상대 개선을 보였다. 감정 인식(IEMOCAP)에서는 평균 정확도가 67.76%/67.30%로 WavLM‑style(65.46%)보다 2%p 상승했으며, 슬롯 필링(SNIPS)에서는 F1 64.7%를 달성해 5.6%p 차이를 만든다. 클러스터 분석에서는 GMM‑Anchored 모델이 1024 클러스터 중 1013개를 활용해 98% 엔트로피를 달성했으며, WavLM‑style은 31%에 머물렀다. 이는 소프트 할당이 클러스터 활용을 균등하게 만들고, 표현 붕괴를 효과적으로 억제함을 의미한다. 추가 실험에서 λ을 0.01 이하로 완전히 제거하면 훈련 말기에 다시 붕괴 현상이 발생함을 확인, GMM 정규화가 초기화뿐 아니라 지속적인 안정화 역할을 함을 증명한다.

이 논문은 (1) 한 번의 오프라인 GMM 클러스터링으로 반복 재클러스터링 비용을 제거, (2) 소프트 포스터리어를 통해 음향 경계의 불확실성을 보존, (3) 가중치 감소 스케줄을 도입해 초기 정규화와 후속 고차원 학습을 자연스럽게 연결, (4) 다양한 아키텍처와 다운스트림 과제에 걸쳐 일관된 성능 향상을 입증한다는 점에서 음성 SSL 분야에 중요한 기여를 한다. 향후 연구는 GMM K값 최적화, 비정형 음성(노이즈, 방언)에서의 일반화, 그리고 멀티모달(음성‑텍스트) JEPA와의 결합 가능성을 탐색할 여지를 남긴다.