분산 정규화와 모멘텀 결합 적응형 옵티마이저 MVNGrad

초록

MVNGrad는 각 차원을 분산(variance) 기반으로 정규화하고, 정규화된 그래디언트에 모멘텀을 적용하는 Adam‑계열 옵티마이저이다. 정규화‑후‑모멘텀 구조는 스텝마다 발생하는 “교차‑시간” 불안정을 제거하고, 분산 정규화는 저노이즈 상황에서 발생하는 사인‑콜랩스(sign‑collapse)를 방지한다. 이론적으로는 조건부 업데이트 분산이 기존 AdaBelief보다 작으며, 급격한 그래디언트 스파이크에 대해 유한한 업데이트 크기를 보장한다. 실험에서는 CIFAR‑100 이미지 분류와 GPT‑2 언어 모델 학습에서 Adam, AdaBelief, LaProp을 능가하거나 동등한 성능을 달성한다.

상세 분석

본 논문은 적응형 학습률 기법의 두 가지 핵심 설계 축을 동시에 개선한다. 첫 번째 축은 “정규화 순서”이다. 기존 Adam·AdaBelief는 모멘텀을 먼저 누적한 뒤 현재의 스케일링 파라미터(두 번째 모멘트 혹은 분산)로 나누는 구조(pre‑normalize)로, 과거 모멘텀과 현재 노이즈가 동시에 작용해 순간적인 정규화 값이 급락하면 스텝 크기가 폭발하는 교차‑시간 불안정성을 야기한다. MVNGrad는 정규화 후에 모멘텀을 적용(post‑normalize)함으로써, gₜ/√sₜ와 같은 순간 정규화된 그래디언트를 먼저 얻고 이를 EMA로 평균한다. 이때 모멘텀 버퍼는 Fₜ₋₁‑측정 가능하므로, 현재의 무작위 정규화 값과 곱해지는 상황이 사라진다. 정리 3.1은 대칭 잡음 가정과 EMA가 조건부 평균을 정확히 추적한다는 전제 하에, AdaBelief와 MVNGrad 사이의 조건부 업데이트 분산 차이를 명시적으로 양수임을 증명한다. 즉, 동일한 분산 추정기 sₜ를 사용하더라도 MVNGrad가 더 작은 변동성을 갖는다.

두 번째 축은 “정규화 기준”이다. Adam 계열은 비중심화된 두 번째 모멘트 vₜ≈E