대규모 음성인식 훈련을 위한 효율적인 계층형 비동기 분산 학습 시스템

본 연구는 현대 자동 음성인식(ASR) 시스템에서 대규모 데이터와 복잡한 모델을 빠르게 학습하기 위해 분산 딥러닝 기술을 활용하는 방법을 제시한다. 기존에 널리 사용되던 동기식 SGD(SSGD)는 배치 크기가 커질수록 수렴이 어려워 학습 속도와 정확도 사이에 트레이드오프가 발생한다. 저자들은 비동기 분산 SGD의 한 종류인 Asynchronous Decentralized Parallel SGD(ADPSGD)가 이러한 제한을 극복할 수 있음을 발견하였다. ADPSGD는 각 학습자가 로컬에서 그래디언트를 계산하고, 이웃 학습자와 모델 파라미터를 비동기적으로 평균화함으로써 전역 동기화 장벽을 없앤다. 이 방식은 시스템 스터일스(staleness)를 감소시키고, 스트래글러 문제를 완화한다. 실험은 두 개의 공개 음성 데이터셋, SWB‑300(300시간)과 SWB‑2000(2000시간)을 대상으로 수행되었다. 모델은 6층 양방향 LSTM(각 층 1024 셀)과 32,000개의 출력 유닛을 갖는 대형 네트워크이며, 총 파라미터 수는 43백만 개에 달한다. 배치 크기 확대 전략으로는 (1) 효과적인 배치 크기에 비례한 학습률 선형 스케일링, (2) 초기 10 epoch 동안 학습률을 점진적으로 증가시키는 워밍업, 이후 매 epoch마다 1/√2 비율로 감소시키는 스케줄링을 적용하였다. 이러한 설정 하에 ADPSGD는 SSGD보다 3배 큰 배치(8192 vs 2560 for SWB‑300, 12288 vs 4096 for SWB‑2000)에서도 손실 및 검증 손실이 유사하게 수렴함을 보였다. 반면 SSGD는 동일 배치 크기에서 수렴이 불안정하거나 더 작은 학습률을 사용해야 하는 등 성능 저하가 뚜렷했다. 하지만 ADPSGD는 학습자 수가 16을 초과하면 스터일스가 증가해 정확도가 떨어지는 문제가 있었다. 이를 해결하기 위해 저자들은 Hierarchical‑ADPSGD(H‑ADPSGD)라는 계층형 구조를 설계하였다. 동일 서버 내의 N개의 학습자를 빠른 All‑Reduce 기반 동기식 링으로 결합해 ‘슈퍼 학습자’를 만든 뒤, 이 슈퍼 학습자들 간에 ADPSGD 링을 구성한다. 이렇게 하면 노드 내부에서는 스터일스가 0이 되고, 노드 간에는 비동기 방식이 유지되어 전체 시스템의 확장성이 크게 향상된다. 실험 결과, 64개의 Nvidia V100 GPU(8서버) 클러스터에서 배치당 128 샘플을 사용해 16 epoch을 5.2시간 안에 학습했으며, 최종 WER는 Switchboard 테스트에서 7.6%, Call‑home 테스트에서 13.2%를 기록했다. 이는 동일 모델을 1 GPU에서 203시간에 학습한 것에 비해 40배 가속된 것이다. 또한, H‑ADPSGD는 16 GPU에서 2배, 64 GPU에서 40배의 선형에 가까운 속도 향상을 보였다. 논문의 주요 기여는 다음과 같다. 첫째, ADPSGD가 SSGD보다 훨씬 큰 배치 크기로도 수렴한다는 실증적 증거를 제공하였다. 둘째, 계층형 설계를 통해 ADPSGD의 확장성을 학습자 수 64까지 늘리면서도 정확도 손실 없이 고속 학습을 가능하게 했다. 셋째, 이러한 시스템이 현재 보고된 문헌 중 SWB‑2000 과제에서 동일 수준의 정확도를 달성한 가장 빠른 훈련 시스템임을 입증하였다. 마지막으로, ADPSGD가 큰 배치를 견디는 근본적인 이론적 원인에 대한 탐구를 향후 연구 과제로 제시한다.