다중도메인 대규모 학습으로 구현한 범용 음성인식 모델

본 논문은 “도메인 불일치”라는 전통적인 ASR 문제를 대규모 다중도메인 학습을 통해 근본적으로 해결하고자 한다. 기존 음성 인식 시스템은 특정 응용 분야와 전송 조건에 맞춰 최적화돼 있어, 새로운 환경에 적용하면 성능이 급격히 저하된다. 이를 극복하기 위해 저자들은 162 000시간에 달하는 방대한 음성 데이터를 수집하고, 이를 다양한 도메인(VoiceSearch, Dictation, OtherSearch, Farfield, Call‑Center, YouTube)으로 구분하였다. 특히 YouTube 데이터가 전체의 70%를 차지해 다양한 발화 스타일과 배경을 포함한다. 데이터를 그대로 사용하기보다는, 각 음성에 대해 무작위로 ‘노이즈’, ‘샘플링 레이트 변형’, ‘코덱 변형’ 세 가지 시뮬레이션을 적용한다. 노이즈 시뮬레이션은 3백만 개의 방 설정을 사전 생성하고, 0~4개의 잡음원을 0~30 dB SNR 범위에서 혼합한다. 샘플링 레이트는 16 kHz와 8 kHz를 50% 확률로 전환하고, 8 kHz 입력은 16 kHz로 복원해 특징을 추출한다. 코덱 변형은 MP3와 AAC를 각각 3가지 비트레이트로 적용해 총 7가지 코덱 조건을 무작위로 선택한다. 이러한 변형은 훈련 중에 원본 wav와 정렬 정보만 저장하고, 변형·특징 추출을 실시간으로 수행함으로써 디스크 사용량을 최소화한다. 특징 추출은 32 ms 윈도우, 10 ms 오버랩으로 로그멜 128 차원을 구하고, 4프레임을 스택해 512 차원 입력을 만든다. 이후 3배 다운샘플링해 33 Hz 입력으로 변환한다. 모델은 5‑layer 단방향 LSTM(첫 4층 1024셀, 마지막 768셀)으로 구성되며, 8192개의 CDPhone 클래스를 예측한다. 학습은 교차 엔트로피 손실을 사용하고, 32개의 K80 GPU에서 비동기식 SGD로 진행한다. 한 epoch당 약 1.8일이 소요되며, 15~20 epoch 후 수렴한다. 성능 평가에서는 먼저 노이즈 시뮬레이션의 효과를 확인한다. 깨끗한 조건에서는 노이즈를 포함한 모델과 포함하지 않은 모델 간 차이가 거의 없으며, 잡음이 있는 조건에서는 WER가 30%~60% 정도 크게 감소한다. 코덱 시뮬레이션을 적용한 모델은 다양한 비트레이트와 코덱 조합에서도 일관된 성능을 유지한다. 전체 6개 도메인을 모두 포함한 다중도메인 모델은 각 도메인별 전용 모델과 거의 동일한 WER를 기록한다. 특히 데이터가 풍부한 YouTube와 VoiceSearch에서는 차이가 미미하고, 데이터가 적은 Call‑Center와 Farfield에서는 약간의 성능 격차가 존재한다. 가장 주목할 만한 결과는 미보인 Telephony 도메인에 대한 적응 실험이다. 다중도메인 모델을 10시간의 Telephony 데이터만으로 파인튜닝하면, 700시간을 사용해 처음부터 학습한 전용 모델과 동등한 정확도를 얻는다. 이는 대규모 사전 학습 모델이 새로운 환경에 대해 매우 빠르게 적응할 수 있음을 보여준다. 하지만 몇 가지 제한점도 존재한다. 데이터 불균형(YouTube 비중 과다)으로 인해 소규모 도메인에서 최적화가 충분히 이루어지지 않을 수 있다. 또한 현재는 영어와 5‑gram 언어 모델에만 초점을 맞추었으며, 다언어 지원이나 신경망 기반 언어 모델과의 결합 효과는 검증되지 않았다. 코덱·샘플링 변형도 사전에 정의된 옵션에 한정돼 있어, 실시간 스트리밍에서 발생하는 패킷 손실·지연 등 복합 변형에 대한 대응은 추가 연구가 필요하다. 결론적으로, 이 연구는 대규모 데이터와 다중 시뮬레이션을 결합한 학습 파이프라인이 도메인 간 격차를 크게 줄이고, 새로운 환경에 대한 빠른 적응을 가능하게 함을 입증한다. 이는 차세대 범용 음성 인식 시스템 구축에 중요한 방향성을 제시하며, 향후 다언어·다채널·실시간 스트리밍 환경에서도 확장 가능한 모델 개발의 기반이 될 것으로 기대된다.