구조적 희소성을 위한 일반 프레임워크와 근접 최적화

본 논문은 “구조적 희소성(structured sparsity)”을 다루는 새로운 최적화 프레임워크와 이를 구현하기 위한 효율적인 알고리즘을 제시한다. 1. **문제 설정 및 기존 방법의 한계** - 목표는 선형 회귀 모델 y = Xβ* + ξ에서 β*를 추정하면서, β*가 단순히 몇 개의 비제로 성분을 갖는 것뿐 아니라 특정 구조(연속 구간, 트리, 겹치는 그룹 등)를 만족하도록 하는 것이다. - 라쏘(Lasso)는 ℓ₁·norm을 이용해 전역적인 희소성을 강제하지만 복잡한 패턴을 직접 지정할 수 없으며, 그룹라쏘는 미리 정의된 그룹에만 적용 가능하고 겹치는 경우는 별도 설계가 필요하다. 2. **새로운 정규화 함수 Ω(β│Λ)** - 보조 변수 λ∈Rⁿ₊를 도입하고, λ가 속해야 할 집합 Λ를 정의한다. - 정규화 함수는 Ω(β│Λ)=inf_{λ∈Λ} ½∑_{i=1}^n (β_i²/λ_i + λ_i) 로, 이는 ℓ₁·norm의 변분 표현을 일반화한 형태이다. - Λ가 전 양의 실수 전체이면 Ω는 ℓ₁·norm과 동일해 라쏘가 복원된다. 반대로 순서 제약(λ₁≥…≥λ_n), 그래프 기반 차이 제약(∑_{(i,j)∈E}|λ_i−λ_j|≤1) 등 다양한 Λ를 설정하면, β는 연속 구간, 연결된 서브그래프, 트리 구조 등 원하는 패턴을 자연스럽게 갖게 된다. 3. **계산상의 어려움** - 대부분의 Λ에 대해 Ω를 직접 계산하거나 그 미분을 구하기 어렵다. 기존 연구에서는 블록 좌표 하강법 등 특수한 Λ에만 적용 가능한 방법을 사용했으며, 대규모 데이터에선 확장성이 제한적이었다. 4. **근접 연산자를 이용한 해결책** - 함수 Γ(β,λ)=½∑(β_i²/λ_i + λ_i) 를 정의하고, (β,λ)∈Rⁿ×Λ에 대한 근접 연산자를 구한다. - λ에 대해 고정하면 β_i(λ)=α_i λ_i/(λ_i+ρ) 로 간단히 구할 수 있다(α는 현재 점). 이를 이용해 문제를 λ에만 남기는 형태로 변형한다. - λ에 대한 최적화는 다음 형태의 고정점 방정식으로 재구성된다: v = (I−prox_{ϕ_c})