SPARC: K‑희소와 ℓ∞ 클러스터링을 결합한 새로운 정규화 기법

초록

본 논문은 기존 OSCAR 정규화의 단점을 보완하기 위해, K개의 비영(非零) 성분만을 대상으로 하는 ℓ∞ 페어와이즈 페널티와 K‑희소 제약을 결합한 SPARC 정규화를 제안한다. prox 연산을 OSCAR 기반으로 효율적으로 구현하고, SpaRSA와 같은 근접 분할 알고리즘으로 최적화한다. 합성 데이터와 유방암 유전자 데이터 실험에서 LASSO, Elastic Net, OSCAR보다 낮은 오류와 더 적은 자유도(특징 수)를 달성하였다.

상세 분석

SPARC 정규화는 두 가지 핵심 아이디어를 결합한다. 첫째, 해의 지원(support) 크기를 K 로 제한하는 명시적 K‑희소 제약이다. 이는 ℓ1 패널티가 작은 계수를 과도하게 억제하여 클러스터링을 방해하는 문제를 회피한다. 둘째, 선택된 K개의 가장 큰 절대값 성분에만 적용되는 ℓ∞ 페어와이즈 최대값 페널티이다. ℓ∞ 페널티는 동일한 크기의 계수들을 서로 끌어당겨 같은 절대값을 갖게 만들며, 이는 OSCAR가 수행하는 “자동 그룹화”와 동일한 효과를 제공한다. 그러나 OSCAR는 전체 변수에 ℓ1과 ℓ∞를 동시에 적용하기 때문에, 작은 계수도 ℓ∞에 의해 억제되어 그룹 형성이 손상될 수 있다. SPARC은 ℓ1을 완전히 배제하고, 대신 K‑희소 제약을 통해 불필요한 변수는 0 으로 강제한다. 따라서 큰 계수들은 ℓ∞에 의해 동일한 크기로 묶이면서도, 작은 계수는 제약에 의해 자연스럽게 0 이 된다.

수학적으로 SPARC은
\