길이가 긴 음성 데이터가 SSL 사전학습 효율을 좌우한다

초록

본 연구는 자기지도 학습(SSL) 기반 음성 모델의 사전학습에 사용되는 데이터 선택 전략을 체계적으로 검증한다. 음향·화자·언어 다양성을 강조한 샘플링은 무작위 추출과 비교해 의미 있는 성능 향상을 보이지 않았다. 반면, 전체 데이터의 절반만 사용하더라도 가장 긴 발화를 우선 선택하면 ASR 성능이 크게 개선되고, 대규모 코퍼스에서는 사전학습 시간이 24 % 단축된다. 즉, 데이터 양보다 발화 길이가 사전학습 효율에 더 중요한 요인임을 제시한다.

상세 분석

이 논문은 25 000시간 규모의 영어 음성 데이터셋인 Loquacious를 기반으로, 사전학습 데이터의 선택 방식이 downstream 자동음성인식(ASR) 성능에 미치는 영향을 정량적으로 분석한다. 연구자는 크게 두 축의 선택 전략을 설계하였다. 첫 번째는 음향(MFCC), 화자(256‑차원 임베딩), 언어(SENSE 모델 기반 의미 임베딩) 특성을 이용해 k‑means 클러스터링 후 균형 있게 샘플링하는 ‘다양성 기반’ 방법이다. 두 번째는 발화 길이 자체를 기준으로 가장 긴 50 %를 선택하거나, 화자 클러스터 내에서 가장 긴 발화를 선택하는 ‘길이 기반’ 방법이다. 모든 실험은 BEST‑RQ 프레임워크(12층 Conformer, 100 M 파라미터)를 사용해 200 k 스텝(≈200 시간) 동안 사전학습하고, 동일한 250 시간 라벨링 데이터로 CTC 기반 ASR을 fine‑tune하였다.

성능 평가는 Word Error Rate(WER)와 GPU 시간, 사용 데이터 양으로 이루어졌다. 다양성 기반 샘플링은 평균적으로 무작위 샘플링과 동등하거나 약간 열등했으며, 대규모(25 k h)에서는 화자 다양성 샘플링만이 무작위 대비 통계적으로 유의미한 개선을 보였지만 전체(All) 베이스라인을 능가하지 못했다. 반면, 길이 기반 샘플링은 중간 규모(2.5 k h)와 대규모 모두에서 테스트 WER를 각각 19.02→18.97, 17.77→17.42로 낮추었으며, 특히 대규모에서는 사전학습 시간도 24 % 단축되었다.

이러한 결과는 두 가지 중요한 시사점을 제공한다. 첫째, 화자·음향·언어 다양성을 인위적으로 강화하는 것이 SSL 사전학습에 반드시 도움이 되지는 않는다. 이는 SSL 모델이 대량의 무작위 데이터에서 이미 충분히 다양한 특성을 학습하기 때문일 가능성이 있다. 둘째, 긴 발화는 더 풍부한 연속적 컨텍스트와 다양한 음성 변이를 포함하므로, 모델이 장기 의존성을 학습하고 보다 일반화된 음성 표현을 획득하는 데 유리하다. 긴 발화가 포함된 배치는 동적 배칭 시 배치당 샘플 수가 감소해 연산 효율도 높아진다.

또한, 논문은 데이터 선택이 사전학습 효율성에 미치는 영향을 정량화함으로써, 대규모 음성 데이터 수집·저장 비용을 절감하고, 제한된 컴퓨팅 자원에서도 경쟁력 있는 SSL 모델을 구축할 수 있는 실용적인 가이드를 제공한다. 향후 연구에서는 다른 언어·도메인, 다른 SSL 아키텍처(예: wav2vec 2.0, HuBERT)와의 일반화 여부를 검증하고, 발화 길이가 성능에 미치는 메커니즘을 더 깊이 탐구할 필요가 있다.