호엘더 설정에서 복합 다목적 최적화를 위한 부분 미분 자유 근접법

초록

본 논문은 복합 형태의 다목적 함수 F(x)=f(x)+h(x) 에 대해, 그래디언트 정보를 근사한 차분 방식과 스케일링 행렬 B_k 를 이용해 2차 정규화 모델을 최소화하는 부분 미분 자유 근접 알고리즘을 제안한다. Hölder 연속성을 가정한 그래디언트에 대해 ε‑근사 파레토 점을 찾는 복잡도는 O(ε^{-(β+1)/β}) 이며, β=1(리프시츠)일 때 기존 O(ε^{-2})와 일치한다. 수치 실험을 통해 견고성 및 효율성을 확인하였다.

상세 분석

제안된 PDFPM(Partially Derivative‑Free Proximal Method)은 각 목적 함수 f_j 에 대해 전방·후방·중심 차분을 이용해 g_{f_j}(x,λ) 라는 그래디언트 근사를 계산한다. 차분 폭 λ_k 는 ε·σ_k·√n 이하로 제한되어, 점차 감소하면서 근사 정확도를 보장한다. 알고리즘의 핵심은 모델 함수 Φ_{x_k}(x)=max_j⟨g_{f_j}(x_k,λ_k)+½B_{k,j}(x−x_k),x−x_k⟩+h_j(x)−h_j(x_k) 에 2차 정규화 항 σ_k^2‖x−x_k‖^2 을 더한 뒤, 전역 최소점 \bar x_k 를 구하는 단계이다. B_{k,j} 는 양의 반정치 행렬로, Hessian 근사, quasi‑Newton, 혹은 영 행렬까지 자유롭게 선택 가능하며, 전제 조건은 일관된 상한 ‖B_{k,j}‖≤B 이다.

수렴 분석은 두 가지 가정을 기반한다. 첫째, 각 f_j 는 Hölder 연속 그래디언트를 갖고, 즉 ‖∇f_j(y)−∇f_j(x)‖≤L_j‖y−x‖^{β_j} 이며, Lipschitz 항 L_j 와 Hölder 항 M_j 을 포함하는 2차·(β_j+1)차 상한식(7)을 만족한다. 둘째, 차분 근사와 실제 그래디언트 사이의 오차가 ‖∇f_j(x)−g_{f_j}(x,λ)‖≤λ√n L_j/2 + λ^{β_j}√n M_j/(β_j+1) (8) 으로 제어된다. 이러한 가정 하에, 단계 4의 감소 조건 F_j(\bar x_k)≤F_j(x_k)−αε^2/(2σ_k) 을 만족하면 σ_k 를 유지하고, 만족하지 못하면 σ_k 를 두 배로 늘려 보수적인 스텝을 취한다.

복잡도 증명에서는 ε‑근사 파레토 점을 얻기 위해 필요한 반복 횟수를 상한 O(ε^{-(β+1)/β}) 으로 도출한다. 여기서 β=min_jβ_j 이며, β=1(리프시츠 연속)일 경우 기존 1차 방법과 동일한 O(ε^{-2}) 복잡도를 재현한다. 또한, β<1인 경우에도 기존 방법보다 더 나은 이론적 차수를 제공한다는 점이 강조된다.

수치 실험에서는 강인성(robust) 이중목적 문제와 다양한 Hölder 지수(β=0.5, 0.8 등)를 갖는 테스트 베이스를 사용했다. 결과는 제안 알고리즘이 파레토 프론트를 정확히 근사하면서도 함수·그라디언트 평가 횟수를 크게 절감함을 보여준다. 특히, B_{k,j}=0 (1차 정보만 사용)인 경우에도 수렴 속도가 만족스러웠으며, Hessian 근사를 도입했을 때는 추가적인 수렴 가속 효과가 관찰되었다.

전반적으로 이 논문은 다목적 복합 최적화에서 미분 정보가 제한적이거나 비용이 높은 상황에 적합한 프레임워크를 제공한다. Hölder 연속성을 명시적으로 활용함으로써 기존 Lipschitz 기반 방법보다 일반성을 확대하고, 복잡도 분석을 통해 이론적 최적성을 입증하였다.