비유클리드 경사 하강법의 안정성 가장자리 현상

초록

본 논문은 딥러닝에서 관찰되는 “Edge of Stability”(EoS) 현상을 기존 유클리드(ℓ₂) 기준이 아닌 임의의 노름으로 정의된 비유클리드 경사 하강법에 일반화한다. 방향성 부드러움(Directional Smoothness) 개념을 이용해 Sharpness를 일반화하고, ℓ∞‑Descent, Block Coordinate Descent, Spectral GD, Muon 등 다양한 옵티마이저에 대해 실험적으로 EoS가 나타남을 보인다. 또한 일반화된 Sharpness를 계산하기 위한 프랭크-볼프 알고리즘을 제시한다.

상세 분석

논문은 먼저 전통적인 GD가 만족하는 전역 L‑smoothness 가정이 딥 네트워크에서는 과도하게 보수적임을 지적하고, 대신 “방향성 부드러움”(Directional Smoothness, DS)이라는 지역적, 경로 의존적인 매개변수를 도입한다. DS는 두 연속 이터레이션 사이의 평균 곡률을 측정하며, 식 (4)‑(6)에서 보듯이 손실 감소 여부와 DS 값 사이에 명확한 불등식이 성립한다: 손실이 감소하면 DS ≤ 2/η, 손실이 진동하면 DS는 2/η를 중심으로 진동한다. 이 관계는 EoS 현상의 핵심 메커니즘을 설명한다.

다음으로 저자들은 DS와 Hessian의 최대 이차형식 사이의 연결 고리를 구축한다. Hessian을 선형화한 후, DS를 상한으로 잡아 일반화된 Sharpness S∥·∥(w) = max_{∥d∥≤1} dᵀ∇²L(w)d 로 정의한다. ℓ₂ 노름에서는 기존의 최대 고유값 λ_max와 동일하고, 사전조건(P) ℓ₂ 노름에서는 P⁻¹/²∇²L(w)P⁻¹/²의 최대 고유값이 된다. ℓ∞ 노름의 경우 최적화 문제가 Ising 스핀 글래스의 에너지 최대화와 동등해 NP‑hard임을 언급하고, 실용적인 근사법으로 프랭크‑볼프(FW) 알고리즘을 다중 랜덤 재시작과 함께 사용한다.

비유클리드 GD는 두 형태로 정의된다. (1)에서는 정규화된 업데이트 w_{t+1}=w_t−η∥∇L(w_t)∥* (∇L(w_t))* 로, (3)에서는 정규화 없이 단순히 w_{t+1}=w_t−η(∇L(w_t))* 로 구현한다. ℓ∞‑Descent는 (12)와 같이 부호(sign)만을 사용하고, Spectral GD(또는 Muon 무모멘텀)는 연산자 노름 ∥·∥{2→2}를 적용한다.

실험에서는 MLP, CNN, Transformer 등 다양한 아키텍처와 CIFAR‑10, Tiny‑Shakespeare 등 데이터셋에 대해 위 옵티마이저들을 적용하였다. 결과는 모두 일반화된 Sharpness S∥·∥가 초기에는 급격히 증가(Progressive Sharpening)하다가 학습 후반에 2/η 근처에서 머무르거나 약간 상회한다는 점을 보여준다. 특히 ℓ∞‑Descent와 Block CD에서는 Sharpness가 2/η를 약간 초과하는 현상이 관찰되었으며, 이는 Hessian이 선형 근사에서 벗어나 비선형 효과가 작용함을 시사한다.

이론적 분석 파트에서는 2차형식 목표함수에 대한 비유클리드 GD의 동역학을 정확히 풀어, 업데이트 방향 d_t가 Hessian의 최대 고유벡터와 어떻게 정렬되는지를 보여준다. 결과적으로 DS와 Sharpness가 동시에 2/η에 수렴하는 것이 수학적으로 보장됨을 증명한다.

마지막으로 논문은 “geometry‑aware spectral measure”라는 통합적인 Sharpness 지표를 제안한다. 이는 옵티마이저마다 다른 노름을 입력으로 받아 동일한 형태의 S∥·∥를 계산함으로써, 기존 연구에서 별도로 다루어졌던 여러 방법들을 하나의 프레임워크로 통합한다. 이는 향후 옵티마이저 설계와 학습 안정성 분석에 중요한 도구가 될 것으로 기대된다.