미니배치 노이즈가 Adam의 암시적 편향에 미치는 영향

초록

본 논문은 배치 크기에 따른 미니배치 노이즈가 Adam(및 AdamW)의 모멘텀 하이퍼파라미터 β₁, β₂와 상호작용하여 손실 지형의 날카로움(Sharpness) 혹은 평탄함(Flatness)에 대한 암시적 정규화 효과를 어떻게 바꾸는지를 이론적으로 분석한다. 큰 배치에서는 β₂를 크게 잡을수록 안티‑정규화가 강화돼 일반화가 악화되고, 작은 배치에서는 그 관계가 반대로 뒤집힌다. β₁에 대해서도 유사한 전환 현상이 관찰된다. 실험을 통해 이론적 예측을 검증한다.

상세 분석

논문은 먼저 “메모리(기억) 알고리즘”이라는 개념을 도입한다. 메모리를 갖는 최적화 알고리즘은 현재 업데이트가 과거 전체 기울기 히스토리를 가중합한 형태로 표현되며, 이를 Theorem 2.3( Cattaneo & Shigida, 2022) 을 이용해 메모리 없는 등가 알고리즘으로 근사한다. 이 과정에서 두 종류의 교정(term) — ‘메인터리’와 ‘코렉션’—가 등장한다. 메인터리(term 1)는 기존 전역 최소점 주변의 기울기 크기 ‖∇L‖² 를 벌점화하고, 이는 ℓ₂‑Sharpness와 직접 연결된다. 코렉션(term 2)은 미니배치 노이즈의 공분산 트레이스 tr Σ 를 벌점화하며, 이는 손실 지형의 평탄도와 강하게 연관된다.

다음 단계에서는 Adam의 구체적 업데이트 식을 위 프레임워크에 대입한다. Adam은 1차 모멘트 mₜ와 2차 모멘트 vₜ를 각각 β₁, β₂로 지수평활하고, 편향 보정(bias‑correction) 후 학습률 η 로 파라미터를 이동한다. 저자들은 이 복합 구조를 μₜ,ₖ와 νₜ,ₖ라는 가중치 함수로 재표현하고, 노이즈 전개(dₖ, dₖ,i, dₖ,ij 등)를 이용해 O(d²) 수준의 항들을 명시적으로 추출한다. 결과적으로 기대값을 취한 후 얻어지는 근사식은 다음과 같다.

E