교대형 그래디언트 알고리즘을 이용한 비정밀 하위문제 해결을 위한 모레 앵거 재구성 기법

초록

**
본 논문은 하위문제가 볼록 복합 형태인 바이레벨 최적화 문제를 대상으로, 모레-앵거(Moreau) 엔벨로프 기반의 근사 모델을 도입하고, 하위문제를 정확히 풀 필요 없이 인-정밀(inexact) 해를 이용하는 교대형 그래디언트 알고리즘(AGILS)을 제안한다. 알고리즘의 수렴성을 KKT 정류점과 Kurdyka‑Łojasiewicz(KL) 성질 하에서 순차적 수렴으로 증명하고, 희소 그룹 라쏘(sparse group Lasso) 하이퍼파라미터 선택 실험을 통해 기존 방법 대비 효율성을 확인한다.

**

상세 분석

**
본 연구는 바이레벨 최적화에서 하위문제가 볼록 복합 구조를 갖는 경우, 전통적인 가치함수(value‑function) 재구성이나 MPEC 접근법이 비스무스(비부드)성 및 강한 볼록성 가정이 부족해 적용이 어려운 점을 지적한다. 이를 해결하기 위해 저자들은 모레‑앵거 엔벨로프 (v_{\gamma}(x,y)=\inf_{\theta\in Y}{\phi(x,\theta)+\frac{1}{2\gamma}|\theta-y|^{2}}) 를 도입하고, 원문제와 동등함을 보이는 근사 제약 (\phi(x,y)-v_{\gamma}(x,y)\le\varepsilon) 을 사용한다. 이 제약은 기존 가치함수와 달리 하위문제의 정확한 최적해를 요구하지 않으며, 대신 (\varepsilon) 와 (\gamma) 를 조절해 근사 정확도를 제어한다.

알고리즘 AGILS는 (i) 상위 변수 (x) 에 대한 그래디언트 단계, (ii) 하위 변수 (y) 에 대한 모레‑앵거 프로시멀 단계, (iii) 제약 위반을 보정하는 피드백 메커니즘을 교대로 수행한다. 핵심은 하위 프로시멀 문제 (\min_{\theta}{\phi(x,\theta)+\frac{1}{2\gamma}|\theta-y|^{2}}) 를 정확히 풀 필요 없이, 잔차 (|\theta^{k}-\operatorname{prox}{\gamma\phi}(x^{k},y^{k})|) 가 사전에 정의된 허용 오차 (\delta{k}) 이하가 되면 충분히 ‘인‑정밀’한 해로 인정한다. 이는 기존 이중 루프 알고리즘이 요구하던 완전한 최적화 비용을 크게 절감한다.

수렴 분석에서는 새로운 메리트 함수 (\Psi^{k}=F(x^{k},y^{k})+\lambda_{k}\bigl(\phi(x^{k},y^{k})-v_{\gamma}(x^{k},y^{k})-\varepsilon\bigr){+}) 를 정의하고, 단계별 감소를 보이며 제한된 스텝 사이즈 구간을 제시한다. 특히, (\nabla v{\gamma}) 가 전역적으로 Lipschitz 연속이 아니므로, 전통적인 비스무스 최적화 이론을 직접 적용할 수 없었다. 저자들은 (\nabla v_{\gamma}) 의 서브다이버전스 성질과 KL 속성을 결합해, 메리트 함수가 KL 함수라면 전체 시퀀스가 제한점에 수렴하고, 그 제한점이 (VP)(_{\varepsilon}^{\gamma}) 의 KKT 정류점임을 증명한다.

실험에서는 (1) 단순 2차식 예제와 (2) 희소 그룹 라쏘 모델의 하이퍼파라미터 튜닝을 대상으로, AGILS를 기존 TTSA, 이중 루프 DC 알고리즘, 그리고 가치함수 기반 스테이플스톤(stochastic) 방법과 비교한다. 결과는 동일한 정확도에서 AGILS가 평균 30 %~45 % 적은 시간으로 수렴함을 보여, 인‑정밀 하위해 활용이 실제 계산량 절감에 크게 기여함을 확인한다.

본 논문의 주요 기여는 (i) 모레‑앵거 기반 근사 모델을 이용해 비스무스 하위문제에 대한 이론적 정당성을 확보, (ii) 인‑정밀 하위해 허용 기준을 명시적으로 설계하고, (iii) 교대형 그래디언트 구조와 적응형 페널티 업데이트를 통해 전역 수렴성을 보장한 점이다. 이는 대규모 머신러닝·통계학 응용에서 하이퍼파라미터 최적화를 효율적으로 수행할 수 있는 새로운 패러다임을 제시한다.

**