좌표별 최적화로 푸는 퓨즈드 라쏘

초록

이 논문은 Fused Lasso 문제를 좌표별 최적화 방식으로 해결하는 새로운 알고리즘을 제안한다. 전통적인 좌표별 업데이트가 전역 최적점에 수렴하지 않을 수 있기에, 저자들은 최대 흐름(max‑flow) 기법과 Huber 손실 근사를 결합한 두 가지 변형을 도입한다. 시뮬레이션을 통해 속도와 정확도를 평가하고, 로지스틱 회귀와 Cox 비례 위험 모델에도 확장한다.

상세 분석

Fused Lasso는 변수 선택과 동시에 인접 변수 간 차이를 제약하는 L1‑penalized 회귀로, 기존 Lasso에 비해 구조적 정보를 반영할 수 있다. 그러나 목적함수에 포함된 절대값 차이항 때문에 최적화가 비선형·비부드러워 전통적인 좌표별 최소화가 전역 최적을 보장하지 못한다. 저자들은 이 문제를 두 단계로 해결한다. 첫 번째는 “활성 집합”을 정의하고, 현재 활성 집합 내에서 변수들의 값이 동일하거나 차이가 0인 구간을 찾기 위해 최대 흐름(max‑flow) 알고리즘을 적용한다. 이때 그래프의 정점은 변수, 간선은 차이 페널티를 나타내며, 최소 컷을 구함으로써 최적의 그룹화(클러스터)를 얻는다. 두 번째는 Huber 손실을 이용해 절대값 차이항을 부드러운 근사함수로 대체한다. Huber 함수는 작은 차이는 2차 형태, 큰 차이는 1차 형태로 전환해 미분 가능성을 확보하고, 좌표별 업데이트가 수렴하도록 만든다. 두 변형 모두 좌표별 업데이트와 전역 검증 단계(활성 집합 재구성)를 번갈아 수행해 전역 최적점에 도달한다. 알고리즘 복잡도는 각 좌표 업데이트가 O(1)이며, 최대 흐름 단계는 네트워크 크기에 따라 O(p·log p) 정도로, 전체 복잡도는 기존의 interior‑point 방법보다 현저히 낮다. 실험에서는 p가 수천에서 수만 수준일 때도 수십 배 빠른 실행 시간을 보였으며, Huber 근사법은 근사 오차가 매우 작아 실용적이다. 또한 로지스틱 회귀와 Cox 모델에 동일한 패널티 구조를 적용해 일반화 가능성을 입증했다. 이 논문은 좌표별 최적화가 비선형 L1‑penalized 문제에도 효과적으로 확장될 수 있음을 보여주며, 그래프 이론과 부드러운 근사 기법을 결합한 새로운 설계 패러다임을 제시한다.