깊은 다차원 순환 신경망을 위한 HessianFree 최적화

초록

다차원 순환 신경망(MDRNN)의 깊이를 15층까지 확장하고, Hessian‑Free(HF) 최적화를 적용해 학습 안정성을 확보하였다. CTC 손실의 비볼록성을 완화하기 위해 convex 근사와 Fisher 정보 행렬, EM 알고리즘과의 연관성을 제시함으로써, 깊은 MDRNN이 손글씨 및 음성 인식에서 기존보다 높은 정확도를 달성한다는 것을 실험적으로 입증한다.

상세 분석

본 논문은 MDRNN을 심층화함에 따라 발생하는 학습 난이도를 Hessian‑Free 최적화 기법으로 해결한다는 점에서 의미가 크다. 기존 연구에서는 5층 이하의 MDRNN만이 실용적으로 학습 가능했으며, 더 깊은 구조는 gradient vanishing·exploding 문제와 비선형 손실 함수의 복잡성 때문에 제한되었다. HF는 2차 정보(곡률)를 활용해 큰 학습률에서도 안정적인 업데이트를 가능하게 하는데, 핵심은 Generalized Gauss‑Newton(GGN) 행렬을 Hessian 대신 사용해 양의 준정부호성을 확보하는 것이다. 그러나 CTC 손실은 softmax와 log‑sum‑exp 연산이 결합된 형태로 비볼록성을 띠어 GGN 근사가 직접 적용되기 어렵다. 저자는 CTC를 “softmax over label sequences” 형태로 재정의하고, 비볼록 부분(Nc)과 볼록 부분(Lc)으로 분리한다. 이후 Lc의 선형화된 근사인 Lp를 도입해 Hessian를 블록 대각 형태로 변환, 이는 각 시간 단계별로 독립적인 K×K 행렬( diag(Yt)−YtYtᵀ ) 로 구성된다. 이렇게 하면 Gv 연산을 효율적으로 수행할 수 있을 뿐 아니라, Fisher 정보 행렬과 동일한 형태가 되어 통계적 최적성도 보장한다. 또한, EM 관점에서 dominant path 가 존재할 경우 근사가 정확해짐을 증명한다. 실험에서는 15층까지 쌓은 MDRNN에 HF와 위의 convex CTC 근사를 적용해, 손글씨와 음소 인식 모두에서 층이 깊어질수록 오류율이 감소함을 확인한다. 특히, 기존 5층 MDRNN 대비 15층 모델이 10% 이상의 상대적 성능 향상을 보이며, HF가 깊은 순환 구조에서도 효과적으로 작동함을 입증한다. 이 연구는 깊은 MDRNN을 위한 사전학습(pre‑training) 없이도 2차 최적화가 가능함을 보여, 향후 다차원 시계열 데이터(영상, 의료 이미지 등) 처리에 중요한 기반을 제공한다.