그래프임증강 체계적 어려운 음성 부정 예시 생성법

초록

본 논문은 키워드 스팟팅(KWS) 모델의 경계 성능을 향상시키기 위해, 목표 키워드의 문자(그래프임)를 삽입·삭제·대체하는 방식으로 모든 가능한 혼동어를 자동 생성하는 GraphemeAug 알고리즘을 제안한다. 생성된 텍스트를 AudioLM 기반 TTS와 스타일 전이 기법으로 합성해 대규모 합성 음성 데이터셋을 만들고, 이를 기존 긍정·부정 데이터와 함께 학습시킨 결과, 합성된 어려운 부정 샘플에 대한 AUC가 61 % 상승하면서 실제 긍정·일반 부정 성능은 유지됨을 보였다.

상세 분석

GraphemeAug는 목표 키워드 문자열에 대해 레벤슈타인 거리 기반 편집을 수행한다. 구체적으로(1) 단일 문자 삽입, (2) 단일 문자 삭제, (3) 동일 음소 클래스(모음·자음) 내에서의 문자 교체를 적용한다. 재귀적으로 모든 가능한 조합을 탐색해 편집 거리 1~3까지의 변형을 생성하고, 편집 거리와 변형 수를 조절해 데이터 규모를 조절한다. 이 과정은 언어 규칙을 무시하기 때문에 비표준 철자도 포함되며, 실제 발음에서는 미세한 차이만을 야기한다는 가정 하에 설계되었다.

음성 합성 단계에서는 AudioLM 기반 TTS 모델을 활용한다. 두 가지 모드가 존재하는데, 하나는 무작위 화자 샘플링, 다른 하나는 스타일 전이(style transfer)로 기존 실제 음성의 억양·스피커 특성을 그대로 재현한다. 실험 결과, 스타일 전이 TTS가 표준 TTS에 비해 ROC 곡선 전반에서 우수했으며, AUC가 평균 22 % 향상되었다. 이는 합성 음성의 자연스러움이 KWS 모델의 일반화에 크게 기여함을 시사한다.

데이터 구성은 크게 세 파트로 나뉜다. (1) 베이스라인 긍정·부정 데이터: 13개의 실제 음성 데이터셋(각 60만 샘플)에서 키워드 자리표시자를 목표 키워드(예: “Hey Google”)로 교체·삭제하고, 이를 TTS와 방음·노이즈 시뮬레이션으로 25배 확대해 195 M 긍정·195 M 부정 샘플을 만든다. (2) 합성 혼동어 데이터: GraphemeAug로 생성한 10, 000개의 고유 혼동어 중 10 %를 부정 샘플에 삽입한다. 편집 거리 1, 2, 3을 별도로 실험해 효과를 비교한다. (3) 평가 데이터: 실제 음성 기반 긍정·부정(각 61 736, 20 190 샘플)과, 인간이 직접 수집한 3 779개의 실제 혼동어, 그리고 편집 거리 3의 합성 혼동어 9 595개를 사용한다.

실험 결과는 다음과 같다. 스타일 전이 TTS만 사용했을 때 AUC가 99.65 %에 달했으며, 여기에 편집 거리 3의 합성 혼동어 10 k개를 10 % 비율로 포함시키면 AUC가 61 % 상승한다. 중요한 점은 이 과정이 긍정 데이터의 AUC(99.63 %)나 일반 부정 데이터(98.8 %)에 부정적 영향을 주지 않았다는 것이다. 또한, 혼동어 수가 10개 → 10 k개로 늘어날수록 AUC 향상이 지속되었으며, 편집 거리 자체의 영향은 상대적으로 작았다(거리 1 vs 3 차이 약 0.2 %).

실제 혼동어(“eval‑real‑conf”)에 대한 테스트에서도, 편집 거리 1만을 사용해 학습한 모델이 해당 데이터에 대해 54 % AUC 향상을 보였다. 반대로 실제 혼동어를 사용해 학습한 모델은 합성 혼동어(“eval‑ed3”)에 대해 91.7 %에 머물렀으며, 이는 합성 혼동어가 더 다양하고 폭넓은 발음 변이를 포함하고 있기 때문으로 해석된다. 즉, 합성 혼동어를 통한 사전 학습이 실제 환경에서 발생할 수 있는 미세한 오인식을 효과적으로 억제한다는 결론을 얻을 수 있다.

전체적으로 이 논문은 (1) 문자 수준의 체계적 변형을 통해 거의 모든 가능한 혼동어를 자동 생성한다는 방법론적 혁신, (2) 고품질 스타일 전이 TTS와 결합해 합성 데이터의 현실성을 확보한다는 실용적 접근, (3) 대규모 합성 부정 샘플이 KWS 모델의 경계 인식 능력을 크게 향상시킨다는 실증적 증거를 제공한다. 향후 연구에서는 (a) G2P 기반 음소 편집으로 언어 확장성을 높이고, (b) 실제 사용자 음성 데이터를 혼합해 도메인 적응을 시도하며, (c) 멀티언어·멀티키워드 시나리오에 적용해 일반화 능력을 검증하는 방향이 기대된다.