복합 하위문제와 이중 정규화를 활용한 낙관적 바이레벨 최적화

초록

본 논문은 하위 레벨이 복합적이고 볼록하지만 강하게 볼록하지 않은 경우를 위한 새로운 이중 정규화 기법을 제안한다. 정규화된 하위 문제의 원시‑쌍대 해 매핑을 분석해 거의 모든 점에서 하이퍼 목적함수의 그래디언트를 명시적으로 얻는다. 실제 하이퍼 목적함수의 정의와 근사 가능성을 입증하고, 그래디언트 샘플링 기반 알고리즘을 설계해 정규화된 문제의 근사 정지점을 찾는다. 제시된 방법은 수렴을 보장하며, 머신러닝 하이퍼파라미터 튜닝 사례를 통해 실효성을 확인한다.

상세 분석

이 논문은 기존 바이레벨 최적화 연구가 강한 볼록성 혹은 단순한 제약구조에 의존하던 한계를 극복하고자, 하위 레벨 목표함수에 두 단계의 정규화를 동시에 적용한다. 첫 번째는 일반적인 ‖y‖² 정규화이며, 두 번째는 Moreau‑Envelopes 를 이용한 비스무스(비스무스) 함수 h∘G 에 대한 정규화이다. 이러한 이중 정규화는 하위 문제를 강하게 볼록하게 만들어 원시‑쌍대 해 매핑 Sα,β(x) 가 전역적으로 단일값이며 C¹ 성질을 갖도록 보장한다. 저자는 Theorem 2.1(implicit mapping theory)을 활용해, ψₓ(y,p)+∂ĥ(y,p) 형태의 일반화 방정식의 해가 K⊥∩K={0} 조건 하에 Lipschitz 연속적이고 미분 가능함을 증명한다. 여기서 K는 ψₓ에 대한 임계 공간이며, 이 조건은 ∇_yG(x,y)의 랭크 가 충분히 높을 필요 없이 완화된 형태로 제시된다.

정규화된 하이퍼 목적함수 Φα,β(x)=f(x,Yα,β(x)) 의 그래디언트는 연쇄법칙을 적용해 ∇_x f + ∇_y f·∇Yα,β(x) 로 표현되며, ∇Yα,β(x) 는 위에서 얻은 Jacobian B·(Bᵀ∇ψB)⁻¹Bᵀ 형태로 명시적으로 계산 가능하다. 이 결과는 “거의 모든 점에서” 성립하므로, Clarke‑subdifferential 이나 Goldstein‑subdifferential 로 정의된 비스무스 하이퍼 목적함수의 근사 그래디언트를 얻는 기반이 된다.

알고리즘 측면에서 저자는 Gradient Sampling(샘플링 반경 ε) 기법을 적용해, 정규화된 Φα,β 의 ε‑Goldstein 정지점을 구한다. 샘플링된 점들에서의 미분 가능한 그래디언트를 평균해 서브그라디언트 근사치를 만든 뒤, Armijo‑type 라인서치를 수행한다. 주요 정리에서는 ε→0, α,β→0 순서로 매개변수를 감소시킬 경우, 알고리즘이 실제 비정규화 문제의 Clarke 정지점에 수렴함을 보인다. 이는 기존 연구가 요구하던 “엄격 보완성”(NE) 혹은 “상수 랭크”(CR) 가정을 완전히 제거한 점에서 의의가 크다.

실험에서는 L2‑정규화된 로지스틱 회귀와 딥러닝 하이퍼파라미터 튜닝 두 가지 사례를 제시한다. 정규화 파라미터를 점진적으로 감소시키며 얻은 경로가 기존 하이퍼그래디언트 방법보다 더 안정적인 수렴을 보이며, 특히 하위 문제의 최적해가 다중해를 갖는 경우에도 목표함수 값이 급격히 변동하지 않는다. 전체적으로 이 논문은 복합적이고 비스무스인 하위 레벨 구조를 다루는 바이레벨 최적화에 대한 이론적 토대를 확장하고, 실용적인 알고리즘 설계와 수렴 보장을 동시에 제공한다.