대규모 퓨전 라쏘를 위한 스플릿 베르그만 알고리즘

초록

퓨전 라쏘는 인접 계수 차이를 ℓ₁ 정규화로 억제해 변수 간 순서를 활용하지만, 비분리성·비부드러움 때문에 대규모 문제 해결이 어렵다. 본 논문은 증강 라그랑지안 기반 스플릿 베르그만 방법을 도입해 일반화된 퓨전 라쏘와 퓨전 라쏘 SVM을 효율적으로 풀 수 있는 반복 알고리즘을 제시한다. 수렴성을 이론적으로 증명하고, 인공 데이터와 질량분석·CGH 실험을 통해 기존 솔버 대비 수배 빠른 성능을 입증한다. 특히 변수 수(p)가 크고 샘플 수(n)가 작은 상황에 강점이 있다.

상세 분석

퓨전 라쏘(Fused Lasso)는 회귀·분류 계수의 순서 정보를 활용해, 인접 계수 차이에 ℓ₁ 패널티를 부과함으로써 계수의 스파스성뿐 아니라 구간별 평탄성을 동시에 유도한다. 그러나 이 정규화 항은 변수 간에 결합된 형태이기 때문에 전통적인 좌표별 업데이트나 단순한 프로시저로는 최적화를 수행하기 어렵다. 기존 연구에서는 ADMM, interior‑point, 혹은 특수 경우(예: X=I) 전용 알고리즘을 제시했지만, 차원(p)이 수천·수만에 달하는 현대 바이오인포매틱스 데이터에는 적용이 제한적이다.

논문은 이러한 한계를 극복하기 위해 스플릿 베르그만(Split Bregman) 프레임워크를 채택한다. 핵심 아이디어는 비분리적 ℓ₁ 차이 항을 보조 변수(d)와 제약식 d = Dβ (여기서 D는 차분 연산자) 로 분리하고, 증강 라그랑지안(Lagrangian) 형태로 문제를 재구성하는 것이다. 이렇게 하면 각 서브문제는 (1) β에 대한 2차식 최소화(선형 시스템)와 (2) d에 대한 소프트‑쓰레싱(폐쇄형 해)로 나뉘어, 각각 효율적인 전용 알고리즘(예: Conjugate Gradient, shrinkage)으로 해결할 수 있다.

알고리즘은 Bregman 반복을 통해 라그랑지안 승수(λ)를 업데이트하면서, 원래 문제와 동등한 최적점을 점차 근사한다. 논문은 이 과정이 전통적인 ADMM과 동일한 수렴 구조를 가지며, 강한 수렴성(전역 수렴)과 선형 수렴률을 보인다는 정리를 제시한다. 특히, β‑업데이트 단계에서 DᵀD가 트라이다이어날(1‑차 차분) 구조를 갖기 때문에, 대규모 sparse matrix 연산을 활용해 메모리와 연산량을 크게 절감한다.

또한, 일반화된 퓨전 라쏘(예: 가중치 차분 행렬 W·D)와 퓨전 라쏘 기반 서포트 벡터 머신(Fused Lasso SVM)에도 동일한 스플릿 베르그만 설계를 적용한다. SVM의 경우 힌지 손실을 부드러운 근사(예: Huber)로 대체하거나, 듀얼 변수와 결합해 교차 검증 없이도 효율적인 primal‑dual 업데이트가 가능하도록 설계했다.

실험에서는 p가 10⁴10⁵ 수준이고 n이 수십에 불과한 상황을 인공 데이터로 시뮬레이션했으며, 실제 질량분석 기반 단백질 정량 데이터와 array CGH(Comparative Genomic Hybridization) 데이터에 적용했다. 비교 대상은 기존의 interior‑point 기반 퓨전 라쏘 솔버와 ADMM 구현이다. 결과는 동일한 정밀도(예: MSE, 분류 정확도)에서 스플릿 베르그만이 530배 빠른 실행 시간을 기록했으며, 메모리 사용량도 현저히 낮았다. 특히, 대규모 p·p 행렬을 직접 구성하지 않고도 차분 연산자를 이용한 행렬-벡터 곱만으로 해결함으로써, “large‑p small‑n” 문제에 최적화된 구조임을 확인했다.

이러한 기술적 기여는 퓨전 라쏘를 실제 바이오마커 탐색, 이미지 복원, 시계열 분석 등 고차원 데이터에 적용할 수 있는 실용적 기반을 제공한다. 또한, 스플릿 베르그만 프레임워크가 다른 비분리·비부드 정규화(예: 총변동(TV) 정규화)에도 그대로 확장 가능하다는 점에서, 향후 연구 방향을 넓히는 중요한 시사점을 제시한다.