목표함수 없이 제약 최적화를 수행하는 새로운 ADIC 알고리즘

초록

본 논문은 목적함수 값을 전혀 사용하지 않고, 등식·부등식 제약을 동시에 다룰 수 있는 1차 OFFO(Objective‑Function‑Free Optimization) 방법인 ADIC을 제안한다. 적응형 전환 전략으로 정상 단계와 접선 단계를 번갈아 선택하고, 접선 단계의 스텝 크기는 AdaGrad‑norm 방식을 차용한다. 전반적인 복잡도 분석을 통해 Jacobian이 전순위(full‑rank)인 경우 생성되는 그라디언트 노름이 O(1/√k) 속도로 수렴함을 증명한다. 실험에서는 목적함수 그래디언트에 잡음이 섞여도 알고리즘이 견고함을 확인하였다.

상세 분석

ADIC(ADagrad with Inequality Constraints) 알고리즘은 기존의 페널티, SQP, 내부점, 필터 기법과 달리 목적함수값 f(x)를 전혀 평가하지 않는다. 대신, 현재 점 x_k에서의 목적함수 그래디언트 g_k와 제약 함수값 c_k, 그리고 Jacobian J_k만을 이용한다. 핵심 아이디어는 두 종류의 “비판성 측도”(criticality measures)를 정의하는 것이다. 하나는 이중(dual) 측도 ω_T,k 로, 접선 단계가 얼마나 유용한지를 판단하고, 다른 하나는 원시(primal) 측도 ω_N,k 로, 현재 제약 위반 정도를 정량화한다. 알고리즘은 매 반복마다 ω_T,k와 ω_N,k를 계산하고, ω_N,k ≤ β·α_T,k·ω_T,k 라는 조건을 통해 정상 단계(normal step)와 접선 단계(tangential step) 중 어느 것을 취할지 결정한다.

정상 단계는 제약 위반을 감소시키는 방향으로, 선형 모델 ½‖c(x_k)+J_k s‖² 를 최소화하는 trust‑region 형태의 서브문제를 풀어 얻는다. 이때 스텝 크기는 ‖s_N,k‖ ≤ θ_N ω_N,k 로 제한하고, 충분한 감소(1/2‖c(x_k+s_N,k)‖² ≤ 1/2‖c_k‖² − κ_n ω_N,k²)를 보장한다.

접선 단계는 제약의 접선 공간(J_k s_T,k = 0) 안에서 목적함수 그래디언트와의 내적을 크게 만들도록 설계된다. 스텝 크기 α_T,k는 AdaGrad‑norm에서 영감을 받아 α_T,k = η·√(Γ_k + ω_T,k² + σ) 로 정의되며, 여기서 Γ_k는 이전 접선 단계에서 얻은 ω_T²의 누적합이다. 구체적인 접선 스텝은 세 가지 구현 방식이 제시된다. 첫 번째는 LP 기반(ADIC‑LP)으로, ‖s‖_∞ ≤ α_T,k ω_T,k 제약 하에 g_kᵀ s 를 최소화한다. 두 번째는 동일한 LP를 풀어 얻은 방향 d_T,k 를 스케일링하는 간단한 방법이며, 세 번째는 투영 기반(ADIC‑P1)으로, 현재 점을 제약 접선 평면에 정사영한 벡터 p₁(x_k)를 사용한다. 두 경우 모두 g_T,kᵀ s_T,k ≤ −κ_t α_T,k ω_T,k² 를 만족하도록 보장한다.

수렴 분석에서는 Lyapunov 함수 ψ(x,λ)=L(x,λ)+ρ‖c(x)‖ 를 도입하고, 정상·접선 단계 각각이 ψ를 충분히 감소시킴을 증명한다. 주요 가정은 (i) f와 c가 연속적으로 미분 가능하고, (ii) 목적함수는 하한을 갖으며, (iii) 그래디언트와 제약값이 유계, (iv) Jacobian이 전순위라는 것이다. 이러한 가정 하에, 모든 k에 대해 ω_T,k + ‖c_k‖ ≤ O(1/√(k+1)) 가 성립한다. 즉, 평균 비판성 측도가 O(1/√k) 로 수렴함을 보이며, 이는 무제한 스텝 크기 없이도 최적점에 접근함을 의미한다.

실험에서는 다양한 비선형 등·부등식 제약 문제에 대해 기존 OFFO 방법(예: SQP‑free, ADAGRAD‑free)과 비교하였다. 특히 목적함수 그래디언트에 가우시안 잡음(표준편차 10⁻³~10⁻¹) 을 추가했을 때도 ADIC은 수렴 속도와 최종 정확도에서 큰 손실을 보이지 않았다. 이는 스텝 크기 조정이 누적된 ω_T²에 기반하기 때문에 잡음에 대한 내성이 높아짐을 설명한다.

전체적으로 ADIC은 목적함수값을 전혀 필요로 하지 않으면서도, 제약 위반 감소와 목적함수 개선을 동시에 다루는 균형 잡힌 프레임워크를 제공한다. AdaGrad‑like 스텝 크기와 trust‑funnel 기반 전환 전략을 결합함으로써, 기존 OFFO 기법보다 이론적 복잡도와 실험적 견고성 모두에서 우수함을 입증한다.