공유 인코딩으로 성능을 끌어올린 엔드투엔드 음성인식 모델

본 논문은 자동 음성 인식(ASR) 분야에서 최근 각광받고 있는 엔드‑투‑엔드 접근법을 한 단계 발전시키기 위해, CTC와 프레임별 교차 엔트로피(CE) 두 가지 손실 함수를 동시에 최적화하는 다중 과제 학습 프레임워크를 제안한다. 기존 CTC 기반 모델은 정렬을 자동으로 학습해 전통적인 HMM‑기반 파이프라인을 대체할 수 있지만, 초기화가 부실하거나 데이터가 희소할 경우 수렴이 불안정하고 지역 최적점에 빠지기 쉽다. 반면 프레임별 CE는 강력한 라벨 정보를 제공해 학습을 안정화하지만, 전역적인 시퀀스 정렬을 반영하지 못한다. 두 손실이 서로 보완적인 특성을 갖는다는 점에 착안해, 연구팀은 전체 인코더를 공유하는 다중 과제 네트워크를 설계하였다. 네트워크는 5층(또는 10층) 양방향 LSTM으로 구성된 공유 인코더와, 각각 CTC와 CE를 위한 별도 출력 레이어로 이루어진다. 인코더 상단에 작은 프로젝션 레이어를 삽입해 파라미터 수를 감소시키고, 학습 효율을 높였다. 손실은 L_MLT = (1‑λ)L_CTC + λL_CE 로 정의되며, 실험을 통해 λ≈0.9가 최적임을 확인했다. 이는 CE 손실이 전체 손실에 차지하는 비중이 작지만, 초기 학습 단계에서 강력한 정규화 역할을 수행해 CTC의 불안정성을 크게 완화한다는 것을 의미한다. 학습 최적화 측면에서, 커리큘럼 학습(음성 길이 기준 오름차순 정렬)과 무작위 셔플, LSTM 파라미터 드롭아웃을 조합해 다양한 실험을 수행하였다. 특히, 무작위 셔플과 드롭아웃을 적용했을 때 다중 과제 모델이 기존 단일 CTC 모델 대비 13.2% 상대적인 WER 개선을 보였으며, 이는 CE 과제가 CTC 학습을 효과적으로 보조한다는 강력한 증거다. 단어 단위 CTC(아쿠스틱‑투‑워드) 모델에 대해서는 기존 연구에서 사전 학습이 필수적이라고 주장했지만, 본 연구에서는 다중 과제 학습만으로도 수렴이 가능함을 입증했다. 사전 학습 없이도 단어 모델이 성공적으로 학습되었으며, 이는 데이터 희소성 문제를 CE 과제가 완화시킨 결과이다. 다중 과제 학습 후 각 과제별 파인튜닝을 수행했을 때는 추가적인 성능 향상이 제한적이었지만, 공유 인코더 자체가 두 과제 모두에 유용한 표현을 학습한다는 점을 확인했다. 다음 단계로, 학습된 공유 인코더를 어텐션 기반 시퀀스‑투‑시퀀스 모델의 인코더 초기화에 활용하였다. 10층 LSTM 인코더를 가진 깊은 어텐션 모델을 구축하고, 다운샘플링 및 max‑pooling을 통해 입력 시퀀스 길이를 줄였다. 또한, 샘플링 기법과 스피드 퍼터베이션을 적용해 일반화 능력을 강화했다. 이 모델은 Switchboard와 CallHome 평가 세트에서 각각 12.2%와 22.6%의 WER를 기록했으며, 이는 기존 최첨단 모델과 동등하거나 더 나은 성능이다. 전체 실험 결과를 종합하면, (1) 다중 과제 학습을 통한 공유 인코더는 CTC와 CE 두 손실 모두에서 학습 안정성을 크게 향상시키고, (2) 단어 단위 CTC 모델도 사전 학습 없이 성공적으로 학습될 수 있으며, (3) 공유 인코더를 어텐션 기반 모델에 전이함으로써 깊은 인코더 구조를 효과적으로 학습하고, 최종 ASR 성능을 크게 끌어올릴 수 있음을 확인하였다. 이 연구는 다양한 손실 함수를 동시에 활용하는 다중 과제 학습이 음성 인식 모델 전반에 걸쳐 유용한 표현을 학습하도록 하는 강력한 방법임을 실증적으로 보여준다.