비용이 적은 제약 하에서 임의 차수 비볼록 최적화의 최악 사례 복잡도 완전 해석

초록

본 논문은 제약 조건의 평가·강제 비용이 목적 함수 평가에 비해 무시할 수준인 “비용이 적은 제약” 문제에 대해, 차수 p 의 Lipschitz 연속(또는 β‑Holder 연속) 고차 도함수를 이용한 임의 차수 q (1≤q≤p) 최적성 조건을 만족하는 근사 최소점을 찾는 데 필요한 목적 함수 및 그 도함수 평가 횟수의 최악 사례 복잡도를 정확히 규명한다. 제안된 적응 정규화(AR p) 알고리즘은 O(ε^{-(p+1)/(p‑q+1)})(또는 β‑Holder 경우 O(ε^{-(p+β)/(p‑q+β)})) 번의 평가만으로 (ε,δ)‑q‑차 필요 최소점을 보장한다. 또한 동일 차수·조건 하에서 이 복잡도가 하한과 일치함을 예시와 이론적 증명을 통해 보여, 정규화 방법이 최악 사례 복잡도 관점에서 최적임을 입증한다.

상세 분석

본 연구는 비볼록 최적화 분야에서 “제약 비용이 저렴한” 상황을 엄격히 정의하고, 이러한 상황에서 고차 도함수 정보를 활용한 알고리즘의 평가 복잡도를 체계적으로 분석한다. 먼저, 목적 함수 f가 p 차까지 C^{p,β} (β∈(0,1] ) 연속성을 갖는다고 가정하고, 제약 집합 F가 폐집합이지만 연결성이나 볼록성을 요구하지 않는다. 이는 전통적인 convex‑constrained 설정을 크게 일반화한 것으로, 예를 들어 투영 연산이 저비용인 복합 형태의 제약도 포함한다.

핵심 기여는 (ε,δ)‑q‑차 필요 최소점의 정의와 이를 찾기 위한 적응 정규화 알고리즘 AR p의 설계이다. AR p는 현재 점 x에서 p 차 테일러 모델 T_p(x,s)를 구성하고, 정규화 파라미터 σ_k를 동적으로 조정하면서 모델 최소화 문제
 min_{s} m_k(s)=T_p(x_k,s)+σ_k‖s‖^{p+β}
를 해결한다. 여기서 β=1이면 전통적인 (p+1) 차 정규화가, β<1이면 Hölder 연속성을 반영한 정규화가 적용된다.

복잡도 분석은 두 단계로 진행된다. 첫째, Lemma 2.1을 이용해 모델과 실제 함수 사이의 오차를 ‖s‖^{p+β} 수준으로 제한함으로써, 충분히 작은 단계 길이 s_k가 선택될 경우 φ_δ^{(q)}(x_k)≤ε·χ_q(δ) 를 만족함을 보인다. 둘째, 단계 길이 감소와 정규화 파라미터 증가를 조합한 “성공/실패” 메커니즘을 통해 전체 반복 횟수가 O(ε^{-(p+1)/(p‑q+1)}) 로 제한됨을 증명한다. 이때 복잡도 지수는 q 가 커질수록(높은 차수 최적성) 완만해지며, q=p인 경우 최악 복잡도는 O(ε^{-1}) 로 최적에 도달한다는 의미다.

하한 측면에서는 기존 문헌(예: Carmon et al., 2019)에서 제시된 “ε^{-(p+1)/p}” 하한을 일반화한다. 저자들은 특수한 다변량 다항식 함수와 단순한 반직선 제약 집합을 이용해, 어떤 알고리즘도 p 차 도함수까지 사용할 경우 최소 O(ε^{-(p+1)/(p‑q+1)}) 번의 평가 없이 (ε,δ)‑q‑차 필요 최소점을 보장할 수 없음을 보인다. 이 구성은 차수 p 가 충분히 큰 경우에도 차원 n 에 독립적으로 적용 가능하므로, 복잡도 상한이 실제로 “sharp”함을 입증한다.

또한, β‑Holder 연속성 경우에도 동일한 구조의 증명이 가능함을 보여, 정규화 항의 지수 p+β 가 정확히 복잡도 지수에 반영됨을 확인한다. 이는 Lipschitz 연속(β=1)보다 약한 가정에서도 정규화 방법이 최적임을 의미한다.

마지막으로, 제약 집합이 “ray” 를 포함하는 경우(예: 반직선, 구간)에도 동일한 복잡도 결과가 유지된다는 점을 강조한다. 이는 제약이 전혀 없거나, 투영 연산이 저비용인 경우와 동일한 이론적 복잡도 보장을 제공한다는 실용적 의미를 가진다.

요약하면, 이 논문은 (1) 고차 도함수 기반 정규화 알고리즘의 최악 사례 복잡도 상한을 정확히 도출하고, (2) 그 상한이 하한과 일치함을 증명함으로써 정규화 방법이 복잡도 관점에서 최적임을 입증했으며, (3) 제약 비용이 저렴한 광범위한 문제 클래스에 적용 가능하도록 일반화했다는 점에서 비볼록 최적화 이론에 중요한 진전을 제공한다.