대화 음성 인식, 인간 수준에 도달한 비결

초록

본 논문은 NIST 2000 평가용 대화 음성 데이터(Switchboard·CallHome)에서 전문 전사자의 인간 오류율을 직접 측정하고, 최신 딥러닝 기반 자동 음성 인식 시스템이 각각 5.8%와 11.0%의 단어 오류율(WER)로 인간 수준을 넘어섰음을 보고한다. 핵심 기술은 다중 CNN·LSTM 아키텍처, 공간 스무딩 정규화, 라티스‑프리 MMI 학습, 다양한 RNN/LSTM 언어 모델, 그리고 체계적인 시스템 결합이다.

상세 분석

이 연구는 대화 음성 인식 분야에서 “인간 수준(parity)”이라는 목표를 최초로 정량적으로 입증한 점에서 의미가 크다. 먼저 인간 성능을 평가하기 위해 Microsoft의 상용 전사 파이프라인을 그대로 적용했으며, 두 단계(1차 전사 → 2차 교정)만을 이용해 Switchboard와 CallHome 각각 5.9 %와 11.3 %의 WER를 얻었다. 이는 기존 문헌에서 인용된 4 % 수준이 실제와 크게 차이남을 보여준다.

시스템 측면에서는 세 가지 주요 CNN 구조(VGG, ResNet, LACE)를 도입했는데, VGG는 작은 3×3 필터와 깊은 레이어를, ResNet은 잔차 연결과 배치 정규화를, LACE는 층별 컨텍스트 확장과 어텐션 마스크를 활용한다. 또한 BLSTM 기반의 양방향 LSTM을 6층, 각 층 512 유닛으로 설계했으며, 여기서 새롭게 제안한 “공간 스무딩”(spatial smoothing) 정규화가 큰 효과를 보였다. 활성값을 16×32 이미지로 재구성하고 고역 필터(3×3 커널, 중앙값 1, 주변값 −1/8)를 적용해 에너지 손실을 최소화하도록 손실 함수에 가중치를 추가함으로써, 서로 인접한 뉴런 간 상관관계를 강화하고 WER를 5~10 % 상대적으로 감소시켰다.

스피커 적응은 i‑vector(100 차원)를 이용해 구현했으며, LSTM에는 프레임마다 i‑vector를 연결하고, CNN에는 레이어별 가중치 행렬을 통해 i‑vector를 바이어스로 적용했다. 이 방식은 특히 필터뱅크 기반 입력과 MFCC 기반 i‑vector의 특성 결합 효과를 가져와 성능을 끌어올렸다.

학습 단계에서는 기존 교차 엔트로피(Cross‑Entropy) 사후에 라티스‑프리 최대 상호 정보(LF‑MMI) 최적화를 수행했다. 여기서는 음소와 senone(컨텍스트 의존 음소) 히스토리를 동시에 고려하는 혼합 히스토리 언어 모델을 구축해, GPU 기반 희소 행렬 연산으로 실시간의 100배 속도로 학습을 마쳤다.

언어 모델은 2차원 접근을 취했으며, 15.9 M 파라미터의 4‑gram 초기 LM으로 1차 디코딩 후, 145 M 파라미터의 비프루닝된 대규모 N‑gram LM을 사용해 500‑best 리스트를 생성한다. 이후 전방·후방 LSTM RNN‑LM을 각각 두 개씩 학습해(총 4개) 앙상블하고, 각 LM의 가중치를 (0.375, 0.375, 0.25)로 조합해 최종 스코어링에 활용했다. 이때 외부 웹 텍스트와 같은 도메인 외 데이터는 사전 학습 단계에만 사용하고, 도메인 내 데이터로 재학습해 도메인 적합성을 확보했다.

시스템 결합은 두 단계로 이루어졌다. 첫 번째 단계는 동일 아키텍처 내에서 서로 다른 하이퍼파라미터(예: senone 수 9 k vs 27 k)로 훈련된 모델들을 로그 확률 수준에서 평균화했고, 두 번째 단계는 서로 다른 아키텍처(CNN, BLSTM, LACE 등)를 레벨‑2 결합해 최종 1‑best 결과를 도출했다. 이러한 다중 레이어 결합은 개별 모델의 편향을 상쇄하고 전반적인 견고성을 높였다.

실험 결과, 최종 시스템은 Switchboard에서 5.8 % WER, CallHome에서 11.0 % WER를 기록했으며, 이는 인간 전사자보다 각각 0.1 %p, 0.3 %p 낮은 수치다. 오류 분석에서는 인간과 기계 모두가 “uh‑uh”, “um” 같은 백채널 및 머뭇거림을 인식하는 데 어려움을 겪는 반면, 기계는 드물게 발생하는 고유명사와 억양 변동을 더 잘 처리한다는 점을 발견했다. 전체적으로 이 논문은 최신 CNN/LSTM 구조, 공간 스무딩 정규화, LF‑MMI 학습, 고성능 LSTM 언어 모델, 그리고 체계적인 시스템 결합이라는 다섯 축을 통해 대화 음성 인식에서 인간 수준을 넘어서는 실질적인 돌파구를 제시한다.