퓨즈드 라쏘 신호 근사기 경로 알고리즘

초록

본 논문은 Fused Lasso Signal Approximator(FLSA)의 해를 λ₁과 λ₂ 전 범위에 대해 연속적으로 계산할 수 있는 효율적인 경로 알고리즘을 제안한다. 기존의 일반적인 최적화 방법은 매개변수마다 별도로 문제를 풀어야 하므로 계산량이 크게 늘어나지만, 저자는 변수 결합과 절단점(활성화/비활성화) 추적을 통해 해의 구조적 변화를 단계별로 관리한다. 또한, 보조 자료에서는 설계 행렬 X가 전치가능(rank = p)인 일반 Fused Lasso에 대한 확장 알고리즘을 제공한다. 실험 결과는 제안 알고리즘이 기존 방법 대비 속도와 메모리 효율에서 현저히 우수함을 보여준다.

상세 분석

Fused Lasso는 전통적인 Lasso에 인접 계수 차이에 대한 L₁ 페널티를 추가함으로써, 계수들이 구간별로 동일한 값을 갖는 ‘구간(segments)’ 형태로 변하도록 유도한다. 이는 특히 시계열이나 공간적으로 정렬된 데이터에서 급격한 변화를 억제하고, 구간별 평탄성을 확보하는 데 유리하다. 그러나 두 개의 정규화 파라미터 λ₁(계수 절삭)와 λ₂(차이 절삭)가 동시에 존재하기 때문에 해 공간이 복합적인 구조를 가지며, 전통적인 좌표 하강법이나 ADMM 같은 일반 최적화 기법은 매 파라미터 조합마다 전체 문제를 다시 풀어야 하는 비효율성을 보인다.

저자들은 이러한 문제를 ‘경로 알고리즘(path algorithm)’이라는 관점에서 접근한다. 핵심 아이디어는 λ₁과 λ₂가 연속적으로 변할 때, 최적해의 구조—특히 어떤 계수가 0이 되는지, 어떤 인접 계수 차이가 0이 되는지—가 언제, 어떻게 변하는지를 정확히 추적하는 것이다. 이를 위해 먼저 FLSA를 ‘그룹화된 변수(segments)’ 형태로 재구성한다. 각 세그먼트는 현재 동일한 값을 공유하는 연속된 계수들의 집합이며, 세그먼트 간 경계는 차이 페널티가 활성화되는 지점으로 정의된다.

알고리즘은 두 단계로 이루어진다. 첫 번째는 ‘합병(merge)’ 단계로, λ₂가 감소하면서 인접 세그먼트 간 차이가 0이 되는 시점을 찾아 해당 세그먼트를 하나로 합친다. 이때 합병 시점은 현재 세그먼트들의 평균값과 잔차를 이용해 닫힌 형태의 임계값을 계산함으로써 O(1) 시간에 결정할 수 있다. 두 번째는 ‘절단(cut)’ 단계로, λ₁이 증가함에 따라 세그먼트 내부의 계수가 0이 되는 시점을 추적한다. 이는 각 세그먼트의 절대값 평균과 λ₁의 관계를 이용해 임계값을 구함으로써 구현된다. 두 단계는 서로 독립적으로 진행되지만, 실제 경로에서는 λ₁과 λ₂가 동시에 변할 수 있기 때문에 두 임계값을 비교해 가장 먼저 발생하는 이벤트를 선택하고, 해당 이벤트에 따라 세그먼트 구조를 업데이트한다.

이러한 이벤트 기반 추적은 전체 경로를 O(p log p) 시간 복잡도로 계산하도록 만든다. 여기서 p는 변수의 수이며, 로그 항은 우선순위 큐를 이용해 이벤트를 정렬·관리하는 비용이다. 또한, 메모리 사용량은 현재 세그먼트와 이벤트 리스트만을 유지하면 되므로 O(p) 수준에 머문다.

보조 자료에서는 설계 행렬 X가 전치가능(rank = p)인 일반 Fused Lasso 문제에 대해, 동일한 이벤트 기반 프레임워크를 확장한다. 이 경우, 각 변수는 XᵀX의 역행렬을 통해 ‘가중치 조정된’ 평균값을 사용해 합병·절단 임계값을 계산한다. 따라서 행렬 연산이 추가되지만, X가 고정된 경우 사전 계산된 역행렬을 재활용함으로써 여전히 효율적인 경로 추적이 가능하다.

실험에서는 시뮬레이션 데이터와 실제 유전자 발현 시계열 데이터를 대상으로, 기존의 좌표 하강법, ADMM, 그리고 LARS 기반 방법과 비교하였다. 제안 알고리즘은 전체 λ₁–λ₂ 격자에 대해 해를 한 번에 제공함으로써, 전체 실행 시간이 기존 방법 대비 10배 이상 단축되고, 메모리 사용량도 크게 감소하였다. 특히, λ₁·λ₂ 평면 전체를 탐색해야 하는 모델 선택 단계에서 큰 이점을 보였다.

결론적으로, 이 논문은 Fused Lasso의 구조적 특성을 활용한 이벤트 기반 경로 알고리즘을 제시함으로써, 두 개의 정규화 파라미터를 동시에 다루는 고차원 회귀 문제에 대한 실용적인 해법을 제공한다.