빠른 교대 선형화 방법으로 두 볼록 함수 합 최소화

본 논문은 두 볼록 함수 f 와 g 의 합 F(x)=f(x)+g(x) 을 최소화하는 일반적인 최적화 문제에 대해, 교대 방향 증강 라그랑주(ADAL) 프레임워크를 기반으로 한 새로운 1차 알고리즘을 제시한다. 먼저 문제를 변수 복제 x 와 y 를 도입해 min {f(x)+g(y) : x−y=0} 형식으로 변형하고, 증강 라그랑주 함수 L_μ(x,y;λ)=f(x)+g(y)−⟨λ,x−y⟩+½μ‖x−y‖² 를 정의한다. 기존 ADAL은 x 와 y 를 순차적으로 최소화하고 라그랑주 승수를 한 번만 업데이트한다. 저자들은 라그랑주 승수를 x 와 y 두 단계 모두에서 갱신하는 대칭형 ADAL(SADAL)을 도입하고, f, g 가 미분 가능할 경우 각각의 서브문제에서 λ 를 ∇f 와 −∇g 로 대체한다. 이렇게 하면 각 단계에서 f 또는 g 를 선형화하고, 다른 함수를 그대로 유지한 근사 목적함수 Q_f, Q_g 를 얻는다. 알고리즘 3(ALM)은 다음과 같이 진행된다. 1) x_{k+1}=arg min_x Q_g(x, y_k) (여기서 Q_g(x, y)=g(x)+f(y)+⟨∇f(y),x−y⟩+½μ‖x−y‖²) 2) y_{k+1}=arg min_y Q_f(y, x_{k+1}) (유사하게 정의) 각 서브문제는 (1.2) 또는 (1.3) 형태와 동일하므로, prox_f 또는 prox_g 연산만 필요하다. 복잡도 분석에서는 잠재 함수 Φ_k=F(x_k)+½μ‖x_k−y_{k-1}‖² 를 정의하고, Φ_{k+1}≤Φ_k−(μ/2)‖x_{k+1}−y_k‖² 를 증명한다. 이를 통해 F(x_k)−F(x^*)≤O(1/k) 임을 보이며, 기본 ALM이 O(1/ε) 반복 복잡도를 갖는다는 결론에 도달한다. 가속화 버전(FALM)은 Nesterov의 가속 기법을 차용한다. 가중치 t_k 를 재귀적으로 정의하고, y 업데이트에 y_k+1= x_{k+1}+((t_k−1)/t_{k+1})(x_{k+1}−x_k) 와 같은 관성을 부여한다. 이때 잠재 함수에 가중치를 포함시켜 Φ_{k+1}≤Φ_k−(μ/2t_{k+1}²)‖x_{k+1}−y_k‖² 를 얻으며, 결과적으로 F(x_k)−F(x^*)≤O(1/k²) 가 된다. 따라서 ε‑정밀도 달성에 필요한 반복 횟수는 O(1/√ε) 가 된다. 두 알고리즘 모두 각 반복에서 요구되는 연산은 prox_f 또는 prox_g (즉, min {τ f(x)+½‖x−z‖²} 또는 min {τ g(x)+½‖x−z‖²})와 간단한 선형 연산뿐이다. 이는 대규모 문제에 적합함을 의미한다. 논문은 네 가지 대표적인 응용 사례를 제시한다. 1) ℓ₁ 정규화 압축 센싱: f(x)=½‖Ax−b‖², g(x)=ρ‖x‖₁. prox_f는 선형 시스템(또는 Conjugate Gradient) 해결, prox_g는 소프트‑쓰레싱. 2) 핵노름 최소화(NNM): f(X)=½‖A(X)−b‖², g(X)=ρ‖X‖_*; prox_f는 선형 시스템, prox_g는 특이값 임계화. 3) 강인 주성분 분석(RPCA): min ‖X‖_*+ρ‖Y‖₁ s.t. X+Y=M. 두 서브문제 모두 행렬/벡터 소프트‑쓰레싱으로 닫힌 형태 해를 갖는다. 4) 희소 역공분산 선택(SICS): f(X)=−log det X+⟨Σ,X⟩, g(X)=ρ‖X‖₁. prox_f는 고유값 분해를 통한 닫힌 형태, prox_g는 원소별 소프트‑쓰레싱. 실험에서는 이미지 디블러링, 대규모 RPCA(수천 장의 비디오 프레임), 행렬 완성(Netflix 데이터) 등에 알고리즘을 적용한다. 기본 ALM은 기존 ADMM·ISTA 대비 1.5~2배 빠른 수렴을 보였으며, 가속화 버전은 특히 10⁻⁴ 이하의 오차 구간에서 급격히 오차를 감소시켜 최종 정확도 면에서도 우수했다. 또한, Gauss‑Seidel 방식 덕분에 최신 변수값을 즉시 활용해 메모리 사용량과 통신 비용을 절감할 수 있었다. 결론적으로, 이 연구는 1차 정보만을 이용하면서도 최적의 이론적 복잡도 O(1/ε) 및 O(1/√ε) 를 달성하는 교대 선형화 프레임워크를 제시한다. 기존 Jacobi‑형 ADMM과 차별화된 Gauss‑Seidel 업데이트와 Nesterov 가속을 결합함으로써, 다양한 볼록 합 최소화 문제에 대해 실용적이고 확장 가능한 솔루션을 제공한다. 향후 연구는 비볼록 확장, 비동기식 구현, 그리고 GPU 가속을 통한 실시간 응용으로 이어질 수 있다.