그리디 희소성 제약 최적화와 GraSP 알고리즘

초록

본 논문은 비선형·비제곱 손실 함수를 대상으로 하는 희소성 제약 최적화 문제에 대해, 새로운 탐욕적 알고리즘인 Gradient Support Pursuit (GraSP)를 제안한다. 비용 함수가 Stable Restricted Hessian(SRH) 혹은 Stable Restricted Linearization(SRL) 성질을 만족하면, GraSP는 진짜 희소 최적해와 유한한 거리 내에 있는 s‑희소 해를 효율적으로 찾을 수 있음을 이론적으로 증명한다. 논문은 또한 ℓ₂ 정규화 로지스틱 회귀에 SRH를 입증하고, 합성 데이터 실험을 통해 기존 방법 대비 높은 정확도와 빠른 수렴을 확인한다.

상세 분석

GraSP 알고리즘은 기존의 CoSaMP·IHT·Subspace Pursuit 등 선형 모델에 특화된 탐욕적 방법들을 일반 비선형 비용 함수에 확장한 형태이다. 핵심 아이디어는 현재 추정 벡터의 그래디언트를 계산하고, 그 그래디언트의 가장 큰 절대값을 갖는 2s개의 좌표를 후보 지원 집합으로 선택한 뒤, 이 후보 집합 위에서 제한된 2s‑차원 최적화(예: 제한된 뉴턴 혹은 라인서치)를 수행하고, 최종적으로 s개의 가장 큰 절대값을 갖는 좌표만 남겨서 희소성을 강제한다. 이 과정을 반복하면서 잔차 그래디언트가 충분히 작아질 때까지 진행한다.

알고리즘의 이론적 보장은 두 가지 새로운 함수 클래스에 기반한다. 첫 번째는 Stable Restricted Hessian(SRH)으로, 비용 함수 f가 s‑희소 방향에 대해 Hessian 행렬이 상수 α와 β 사이에 묶여 있어, α‖Δ‖₂² ≤ Δᵀ∇²f(x)Δ ≤ β‖Δ‖₂² 가 모든 s‑희소 Δ와 x∈ℝᵖ에 대해 성립한다는 조건이다. 이는 기존의 Restricted Isometry Property(RIP)와 유사하지만, Hessian이 존재하고 연속적인 비선형 모델에 적용 가능하도록 일반화했다. 두 번째는 Stable Restricted Linearization(SRL)으로, Hessian이 존재하지 않을 때도 그래디언트의 선형 근사가 충분히 정확함을 보장한다. 구체적으로, 임의의 s‑희소 x, y에 대해 ‖∇f(x)−∇f(y)−∇²f(y)(x−y)‖₂ ≤ γ‖x−y‖₂ 가 성립하면 SRL이라고 정의한다.

이 두 조건 하에서 논문은 다음과 같은 정리를 제시한다. 만약 목표 최적해 x가 s‑희소이고, 알고리즘이 초기값을 0으로 시작하면, t번째 반복 후 얻은 추정 (\hat{x}^{(t)})는
‖(\hat{x}^{(t)})−x‖₂ ≤ C·(β/α)^{t}·‖x*‖₂ + ε
와 같은 형태의 수렴 경계를 만족한다. 여기서 C는 상수이며, ε는 측정 잡음 혹은 모델 오차에 의해 결정되는 항이다. 특히, β/α < 1이면 기하급수적으로 수렴한다는 점이 강조된다.

논문은 또한 ℓ₂ 정규화 로지스틱 손실 f(w)=∑_{i} log(1+exp(−y_i a_iᵀw)) + λ‖w‖₂²에 대해 SRH를 직접 검증한다. 로지스틱 손실의 Hessian은 Σ_i σ(a_iᵀw)(1−σ(a_iᵀw)) a_i a_iᵀ 형태이며, 여기서 σ는 시그모이드 함수이다. 데이터 행렬 A가 적절한 RIP‑like 조건을 만족하면, Hessian의 최소·최대 고유값이 각각 α와 β로 제한되어 SRH가 성립한다. 따라서 GraSP는 ℓ₁ 정규화 없이도 직접적으로 s‑희소 해를 찾을 수 있다.

실험에서는 차원 p=2000, 희소도 s=20인 합성 데이터에 대해 GraSP와 기존의 ℓ₁‑정규화 기반 L1‑Logistic, 그리고 IHT·CoSaMP 변형을 비교하였다. 결과는 GraSP가 동일한 샘플 수 n에서도 더 낮은 테스트 오류와 빠른 수렴 속도를 보였으며, 특히 λ가 큰 경우에도 안정적인 성능을 유지했다. 또한, 알고리즘의 복잡도는 매 반복당 O(p·s) 정도로, 대규모 문제에서도 실용적이다.

한계점으로는 SRH·SRL 조건을 만족하는지 사전에 검증하기 어려운 경우가 있다는 점이다. 특히, 데이터 행렬이 강한 상관관계를 가질 때 Hessian의 조건수가 크게 증가하면 β/α가 1에 가까워져 수렴 속도가 느려질 수 있다. 또한, 비스무스(Non‑smooth) 함수에 대해서는 SRL 기반 보장이 약해, 서브그라디언트 기반 변형이 필요할 가능성이 있다. 향후 연구에서는 이러한 조건을 완화하거나, 적응형 스텝 사이즈와 정규화 전략을 결합한 변형을 탐색할 여지가 있다.