라이온·뮤온을 활용한 확률적 프랭크‑와플 최적화 통합

초록

본 논문은 최신 딥러닝 옵티마이저인 Lion과 Muon을 확률적 프랭크‑와플(FW) 방법의 특수 사례로 재해석한다. ℓ∞‑노름 및 스펙트럴 노름 제약 하에서 FW 갭을 이용한 수렴성을 증명하고, KKT 점으로의 수렴을 보인다. 또한 p‑모멘트(1 < p ≤ 2) 잡음, 즉 헤비테일 그라디언트에 대해 클리핑 및 분산 감소 기법을 결합한 두 가지 강인한 FW 변형을 제안한다. 이 변형은 기존 FW 이론을 확장해 일반적인 콤팩트 볼록 집합에서 배치 크기 의존성을 없애며, 결과적으로 헤비테일 환경에서도 Lion·Muon의 새로운 변형을 설계한다.

상세 분석

이 논문은 크게 두 부분으로 구성된다. 첫 번째는 Lion과 Muon을 확률적 프랭크‑와플(FW) 알고리즘의 특수 형태로 보는 이론적 통합이다. 저자들은 FW의 핵심인 “선형 최소화 오라클”을 ℓ∞‑노름 구와 스펙트럴‑노름 구에 적용하면 각각 sign‑gradient와 사전조건화된 그라디언트 업데이트가 도출된다는 점을 강조한다. 구체적으로, Lion의 업데이트 x_{t+1}=x_t−η_t(sign(c_t)+λx_t)와 Muon의 업데이트 X_{t+1}=X_t−η_t(O_t+λX_t)에서 c_t와 O_t는 각각 ℓ∞‑노름과 스펙트럴‑노름에 대한 서브그라디언트(또는 최적화된 방향)이다. 이를 FW 알고리즘 3에 매핑하면, β₁,γ,η의 파라미터 선택만으로 두 옵티마이저가 정확히 동일한 수식 흐름을 갖게 된다. 이때 수렴 분석은 전통적인 FW 갭 G(x)=max_{v∈C}⟨v−x,−∇F(x)⟩을 이용한다. 논문은 L‑smooth와 bounded variance(또는 p‑모멘트) 가정 하에, 기대 FW 갭이 O(1/√T) 혹은 헤비테일 상황에서는 O(log T · T^{−(p−1)/(3p−2)}) 등으로 수렴함을 증명한다. 특히 p < 2인 경우, 기존의 2차 모멘트 가정이 깨지는 상황에서도 클리핑을 통해 그라디언트 노이즈를 제한하고, 고확률 수렴을 확보한다는 점이 주목할 만하다. 두 번째는 이러한 이론을 실제 딥러닝 옵티마이저에 적용하는 단계이다. 클리핑‑FW와 클리핑 + 분산 감소‑FW 두 변형을 각각 Lion과 Muon에 삽입하면, 헤비테일 잡음에 강인한 새로운 “Heavy‑Tail Lion” 및 “Heavy‑Tail Muon”이 탄생한다. 이 변형들은 기존 AdamW·Lion·Muon 대비 배치 크기에 대한 의존성을 크게 낮추면서도, 기대 FW 갭 ε를 달성하기 위해 O(1/ε³)의 그라디언트 호출 복잡도를 유지한다. 이는 최근 SGD‑type 헤비테일 분석과 일치하면서도, FW 기반이라 투사 연산이 필요 없는 장점을 동시에 제공한다. 전체적으로 논문은 (1) 최신 딥러닝 옵티마이저와 전통적 최적화 이론 사이의 연결 고리를 명확히 제시하고, (2) 헤비테일 잡음 하에서의 강인한 FW 설계와 분석을 통해 실용적인 알고리즘까지 도출한다는 점에서 큰 학술적·실용적 기여를 한다.