투사 단계 없는 볼록 최적화와 희소 저랭크 근사

본 논문은 “투사 단계 없는 볼록 최적화”라는 주제로, 컴팩트하고 볼록한 도메인 D ⊂ ℝⁿ 위에서 볼록 함수 f를 최소화하는 일반적인 문제를 다룬다. 전통적인 1차 방법은 매 반복마다 투사 연산을 수행해 현재 점을 D 안으로 되돌려야 하지만, 이는 특히 반정밀도 행렬(예: PSD 행렬)에서 고비용이다. 저자는 프랭크‑울프(FW) 알고리즘을 기반으로, 현재 점 xₜ에서 서브그라디언트 dₓₜ ∈ ∂f(xₜ)를 구하고, 이를 이용해 선형화된 서브문제   min_{y∈D} ⟨y, dₓₜ⟩ 를 푼다. 이 서브문제의 최적 해 sₜ는 D 안에 있으므로, 새로운 점은   xₜ₊₁ = (1−γₜ) xₜ + γₜ sₜ 와 같이 정의한다. 여기서 γₜ는 고정 스텝 사이즈 혹은 라인 서치를 통해 선택한다. 이 과정은 투사 없이도 항상 D 안에 머무른다. 논문은 먼저 서브그라디언트와 약한 이중성(ω(x)=min_{y∈D} f(x)+⟨y−x,dₓ⟩)을 정의하고, ω(x) ≤ f(y) ∀y∈D 를 증명한다. 이를 바탕으로 현재 이중갭 gₜ = f(xₜ)−ω(xₜ) 를 계산하고, gₜ가 ε 이하가 될 때까지 반복한다. 수렴 분석에서는 함수의 곡률 상수 C_f를 도입한다. C_f는   C_f = sup_{x,s∈D,γ∈