원자 규범 기반 전방 후방 탐욕 알고리즘 CoGEnT

초록

본 논문은 일반적인 원자 규범(atomic norm) 제약 하에서 최소제곱 손실을 최소화하는 문제를 해결하기 위해, 전방 단계에서 조건부 기울기(Conditional Gradient) 선택을, 후방 단계에서 불필요한 원자를 제거하는 트렁케이션을, 그리고 필요 시 계수 재조정을 수행하는 강화 단계(Enhancement)를 결합한 CoGEnT 알고리즘을 제안한다. 수렴 이론을 제시하고, 희소 복원, 저계수 텐서 완성, 모멘트 문제, 그래프 디컨볼루션 등 다양한 신호 처리 응용에 대해 실험적으로 우수함을 보인다.

상세 분석

CoGEnT은 원자 집합 A 와 원자 규범 ‖·‖ₐ 에 의해 정의된 복합 최적화 문제 minₓ ½‖y‑Φx‖₂² s.t. ‖x‖ₐ ≤ τ 을 해결한다. 기존의 조건부 기울기(Frank‑Wolfe) 방법은 매 반복마다 선형 오라클을 통해 가장 큰 내적을 갖는 원자를 선택하고, 해당 원자를 현재 해에 추가한다. 그러나 원자 수가 급증하면 해의 파싱(monotonicity)와 메모리 효율성이 저하된다. CoGEnT은 이를 보완하기 위해 세 가지 절차를 순차적으로 적용한다.

1. 전방 단계(Forward Step): 현재 해 xᵗ 에 대해 ∇f(xᵗ) 와의 내적을 최소화하는 원자 aₜ₊₁ = arg min_{a∈A} ⟨∇f(xᵗ), a⟩ 을 선택한다. 이는 기존 CG와 동일하지만, 원자 선택이 근사적으로 이루어져도 수렴이 보장되도록 허용한다(인exactness).

2. 라인 서치(Line Search): 선택된 원자와 현재 해의 차이 v = τaₜ₊₁ − xᵗ 에 대해 최적 스텝 크기 γₜ₊₁ = min{⟨y‑Φxᵗ, Φv⟩/‖Φv‖₂², 1} 을 구한다. 이는 손실이 2차 형태이므로 정확히 계산 가능하다.

3. 강화 단계(Enhancement): 전방 단계에서 추가된 원자를 포함한 새로운 기저 Âₜ₊₁ 에 대해, 계수 c 를 ℓ₁ 볼록 제약 ‖c‖₁ ≤ τ 및 c ≥ 0 을 만족하도록 투사 경사법(projected gradient)으로 부분 최적화를 수행한다. 이 단계는 선택적으로 여러 번 반복할 수 있으며, 완전 재최적화가 필요 없을 경우에도 몇 번의 투사 단계만으로 충분히 목표 함수를 감소시킨다.

4. 후방 단계(Truncation): 강화 후 얻어진 해 x̃ₜ₊₁ 에 대해, 각 원자 a 의 계수 cₐ 를 제거했을 때 목표 함수 변화량을 2차 근사식 Δf ≈ −cₐ⟨∇f(x̃ₜ₊₁), a⟩ + ½cₐ²‖Φa‖₂² 으로 평가한다. 사전 정의된 허용 오차 η 에 따라, 목표 함수가 η 배 이하로 감소하지 않으면 해당 원자를 제거한다. 이 과정은 알고리즘 2와 3에서 제시된 두 가지 구현 방식으로, 하나는 단일 원자 제거, 다른 하나는 여러 원자를 동시에 제거하는 히어리스틱을 사용한다.

수렴 분석에서는 전방 단계가 제공하는 충분한 감소 조건과 후방 단계가 허용하는 최대 증가량을 결합해, 전체 반복이 O(1/ε) 속도로 f(xᵗ) − f(x*) ≤ ε 을 만족함을 증명한다. 또한, 전방 단계의 근사 오차가 일정 수준 이하이면 동일한 수렴 속도를 유지한다는 결과를 제시한다.

실험에서는 (i) ℓ₁ 규범을 이용한 전통적인 스파스 복원, (ii) 핵 규범을 이용한 저계수 행렬 완성, (iii) 무한 원자 집합을 갖는 모멘트 문제, (iv) 대칭 저계수 텐서 완성, (v) 그래프 디컨볼루션 등 다섯 가지 대표적인 응용에 CoGEnT을 적용하였다. 모든 경우에서 기본 CG(Frank‑Wolfe)보다 빠른 수렴과 더 적은 원자 수(즉, 더 희소한 해)를 달성했으며, 특히 후방 단계가 활성화된 경우 메모리 사용량이 크게 감소하였다. 또한, 기존 전용 알고리즘(예: ISTA, FISTA, ADMM 기반 방법)과 비교했을 때, 동일한 정확도 수준에서 실행 시간이 30 %~70 % 정도 단축되는 효과를 보였다.

핵심 기여는 (1) 일반 원자 규범에 대해 적용 가능한 통합 프레임워크, (2) 전방‑후방‑강화 3단계 구조를 통한 희소성 유지와 빠른 수렴, (3) 전방 단계의 근사 허용과 후방 단계의 유연한 트렁케이션 정책을 통한 실용적인 구현 가능성이다. 이러한 설계는 기존 CG가 직면하던 “원자 폭증” 문제를 효과적으로 해결하면서, 다양한 신호 처리·머신러닝 문제에 바로 적용할 수 있는 장점을 제공한다.