불완전 좌표 하강법 복잡도와 전처리

본 논문은 대규모 볼록 최적화 문제 min F(x)=f(x)+Ψ(x) 에 대해, 블록 좌표 하강법(Block Coordinate Descent, BCD)의 핵심 단계인 블록 업데이트를 정확히 계산해야 한다는 기존 가정을 완화하고, 허용 오차를 두어 서브문제를 근사적으로 해결하는 불완전 좌표 하강법(Inexact Coordinate Descent, ICD)을 제안한다. 1. **문제 설정 및 기본 가정** - 변수 공간 ℝⁿ 을 n 개의 블록 U₁,…,U_n 으로 분할하고, 각 블록에 대해 좌표 Lipschitz 상수 l_i 가 존재함을 가정한다. - 비스무스(convex) 정규화 Ψ(x)=∑Ψ_i(x_i) 는 블록 분리 가능하고 폐쇄된 형태이며, 필요에 따라 강하게 볼록(Strongly Convex)일 수도 있다. - 블록별 노름 ‖·‖_{(i)} 와 전체 가중 노름 ‖·‖_w 를 정의하고, 레벨 집합 반경 R_w(x₀) 를 통해 초기점의 규모를 측정한다. 2. **알고리즘 설계** - 매 반복 k 에서 확률 p_i 에 따라 블록 i 를 선택하고, 현재 점 x_k 에 대해 서브문제 V_i(x_k,t)=⟨∇_i f(x_k),t⟩+½ l_i ‖t‖²+Ψ_i(x_i+t) 의 근사 최소화 T_i^{δ_k}(x_k) 를 수행한다. - 근사 업데이트는 두 조건을 만족한다. (i) V_i(x_k,T_i^{δ_k}(x_k)) ≤ V_i(x_k,0)+δ_i(k) ≤ min_t V_i(x_k,t)+δ_i(k) ; (ii) 전체 기대 오차 \barδ_k=∑p_i δ_i(k) ≤ α(F(x_k)-F*)+β, 여기서 α,β≥0 는 사용자가 지정할 수 있는 파라미터이다. - 이러한 정의는 Lemma 1에 의해 함수값이 비증가함을 보장하고, Algorithm 1에 명시된 바와 같이 외부 BCD 루프와 내부 근사 루프가 중첩된 구조를 만든다. 3. **이론적 복잡도 분석** - 강하게 볼록한 경우와 일반 볼록한 경우를 각각 다루어, 기대 함수값 차이가 ε 이하가 되도록 하는 최소 반복 횟수 k 에 대한 상한을 도출한다. - 표 1에 요약된 바와 같이, 정확 업데이트(α=β=0)와 비교해 근사 업데이트는 추가적인 로그 항과 α,β 에 의한 보정항이 존재한다. 구체적으로, k ≈ c₁·(1/ε)·log(1/ρ)+O(α/ε) 등의 형태가 된다. - α와 β가 0에 가까울수록 정확 업데이트와 동일한 복잡도를 보이며, α·β가 작을 경우 이론적 복잡도 손실이 제한적임을 증명한다. 4. **전처리와 2차 사례** - 특히 f 가 2차 형태 ½ xᵀQx + bᵀx 인 경우, 서브문제는 선형 시스템 (B_i + l_i I) t = −∇_i f(x) − ∂Ψ_i(x_i) 와 동일해진다. - 전처리 행렬 P_i≈(B_i + l_i I)^{-1} 를 사전에 계산하거나 근사적으로 구성하면, 내부 반복법(예: CG, MINRES)의 수렴 속도가 크게 개선된다. - 부록 A에서는 전처리 후 행렬의 스펙트럼을 분석하고, 고유값 클러스터링이 발생하면 조건수가 O(1) 수준으로 감소함을 보인다. 5. **실험 및 응용** - LASSO, 행렬 완성, 트러스 토폴로지 설계 등 네 가지 실험을 수행하였다. 각 실험에서 정확 업데이트와 ICD(α>0,β>0)를 비교했으며, 동일한 목표 정확도(예: 10^{-4})에 도달하는 데 필요한 전체 CPU 시간이 평균 30%~60% 감소하였다. - 전처리를 적용한 경우, 내부 CG 반복 횟수가 평균 7회에서 1~2회로 감소했으며, 이는 전체 실행 시간 단축에 크게 기여하였다. - 또한, α와 β를 점진적으로 감소시키는 스케줄링 전략을 사용하면 초기 단계에서 빠른 진행을, 후반부에서는 높은 정확도를 동시에 달성할 수 있음을 확인하였다. 6. **결론 및 향후 연구** - ICD는 정확 업데이트가 불가능하거나 비용이 과도한 상황에서도 이론적 수렴 보장을 유지하면서 실질적인 효율성을 제공한다. - 향후 연구에서는 비볼록(nonconvex) 문제에 대한 확장, 동적 블록 선택 전략, 그리고 딥러닝과 같은 대규모 비선형 모델에 대한 적용 가능성을 탐색할 계획이다.