스피커 인식 시뮬레이션으로 대화 음성 인식 향상

초록

본 논문은 영어에만 적용돼 왔던 Speaker‑Aware Simulated Conversations(SASC) 방식을 헝가리어 대화 음성 인식에 적용하고, 발화 길이에 따라 멈춤을 조절하는 C‑SASC를 제안한다. BEA‑Large 단일 화자 데이터에서 합성 대화를 생성하고, 실제 대화 데이터와 결합해 ASR 모델을 학습한다. 실험 결과, SASC와 C‑SASC 모두 단순 연결 기반 증강보다 인식 정확도를 높였으며, C‑SASC는 특히 문자 수준 오류 감소에 기여한다.

상세 분석

본 연구는 대화형 ASR에서 가장 큰 병목 중 하나인 다중 화자 대화 데이터의 부족 문제를 데이터 증강 방식으로 해결하려는 시도이다. 기존 SASC는 화자별 고유의 발화 간 pause·overlap 분포를 KDE로 추정하고, 1차 마코프 체인 기반 전환 행렬을 이용해 화자 순서를 모델링한다. 이때 동일 화자 전환과 화자 교체 전환에 대해 각각 평균 pause(ˆD, ˆD′)와 편차 분포(V, V′)를 정의해, 각 화자의 특성을 반영한 타이밍을 생성한다. 논문은 이러한 SASC를 헝가리어 BEA‑Large 코퍼스에 적용하여, 실제 대화 코퍼스(CallHome, BEA‑Dialogue, GRASS)에서 추출한 통계와 매칭시켰다.

새롭게 제안된 C‑SASC는 pause를 발화 길이(duration)와 조건화한다는 점에서 기존 SASC와 차별화된다. 기존 모델은 pause가 화자와 전환 유형에만 의존하고, 발화 내용이나 길이에 대한 의존성을 무시한다. 그러나 인간 대화에서는 긴 발화가 앞선 긴 pause와 연관되는 경향이 있다는 선행 연구(Krivokapić et al., 2022)를 반영해, C‑SASC는 각 화자별 기본 pause(µ) 위에 발화 길이에 비례하는 잔차(v|duration)를 추가한다. 이 조건부 잔차는 회귀 모델이나 길이 구간별 평균값을 통해 추정되며, 구현 복잡도는 최소화한다.

실험 설계는 크게 두 축으로 나뉜다. 첫째, 시뮬레이션 파라미터(화자 수, 전환 행렬, pause/overlap 분포)와 통계 소스(세 코퍼스 각각) 조합을 다양하게 변형해 합성 대화의 품질을 평가한다. 둘째, 합성 대화의 규모(10h, 50h, 100h 등)와 실제 대화 데이터와의 비율을 바꿔가며 최종 ASR 모델(WER, CER) 성능을 측정한다. 또한 RIR 기반 방음 효과를 포함하거나 제외하는 실험을 통해 음향 환경 일관성의 영향을 분석한다.

결과는 SASC가 단순 concatenation 대비 평균 4.2% 절대 WER 감소를 가져왔으며, C‑SASC는 추가로 0.5~1.0% 정도의 CER 개선을 제공한다. 특히, 통계가 목표 도메인(예: CallHome)과 잘 맞을 때 C‑SASC의 이점이 두드러졌다. 그러나 통계가 부합하지 않을 경우, C‑SASC가 오히려 과적합 현상을 일으켜 성능이 정체되거나 소폭 감소하는 현상이 관찰되었다. 데이터 규모 측면에서는 50시간 이상 합성 데이터를 추가해도 수익 감소 구간에 도달했으며, RIR 적용은 화자 구분이 중요한 상황에서만 유의미한 개선을 보였다.

이 논문은 SASC가 언어에 구애받지 않고 적용 가능함을 실증하고, 발화 길이와 pause 간의 상관관계를 모델링하는 경량화된 C‑SASC가 실제 대화 ASR에 실질적인 이득을 제공한다는 점을 강조한다. 또한, 통계 매칭과 데이터 규모, 음향 시뮬레이션의 상호작용을 정량화함으로써 향후 저자원 언어에 대한 대화 데이터 증강 전략 수립에 중요한 지침을 제공한다.