그룹라소와 희소그룹라소를 위한 정확한 블록별 최적화

초록

본 논문은 선형 회귀에서 그룹라소와 희소그룹라소를 효율적으로 풀기 위한 새로운 알고리즘을 제안한다. Single Line Search(SLS) 알고리즘은 다른 그룹을 고정한 상태에서 각 그룹에 대해 정확한 최적값을 단일 일변량 라인 서치를 통해 구한다. 또한, 이를 확장한 Signed Single Line Search(SSLS) 알고리즘은 희소그룹라소에 적용된다. 시뮬레이션 결과, 제안된 방법이 기존의 그라디언트 투사 및 근사 라인 서치 방식보다 계산 효율성이 높음을 보인다.

상세 분석

이 논문은 그룹라소와 희소그룹라소 문제를 다루는 기존 최적화 기법들의 한계를 정확히 짚어낸다. 전통적으로 사용되는 방법은 전체 계수 벡터에 대해 동시에 그라디언트 투사(gradient projection)를 수행하거나, 한 그룹씩 업데이트하면서 비정밀한 라인 서치(inexact line search)를 적용해 근사값을 얻는 방식이다. 이러한 접근법은 고차원 데이터에서 수렴 속도가 느리거나, 라인 서치 단계에서 추가적인 계산 비용이 발생한다는 단점을 가진다.

논문은 이러한 문제를 해결하기 위해 Single Line Search(SLS) 알고리즘을 고안한다. 핵심 아이디어는 “다른 모든 그룹의 계수를 고정한 상태에서, 현재 목표 그룹에 대한 최적값을 정확히 구할 수 있다”는 점이다. 그룹별 손실 함수는 선형 회귀의 경우 이차형식이므로, 고정된 나머지 변수에 대해 현재 그룹의 계수만을 변수로 하는 1차원 최적화 문제로 축소된다. 이 1차원 문제는 폐쇄형 해가 존재하지 않지만, 단일 변수에 대한 라인 서치만으로 전역 최적점을 찾을 수 있다. 구체적으로, 각 그룹에 대해 ‖β_g‖₂를 스칼라 변수 t로 두고, 손실 함수와 페널티를 t에 대한 함수로 변환한다. 그 후, 이 함수는 볼록이며 미분 가능(또는 서브그라디언트가 존재)하므로, 이분법(bisection)이나 뉴턴법을 이용한 단일 라인 서치로 정확한 t를 구한다. t가 결정되면, β_g는 t*와 현재 잔차(residual) 벡터의 내적을 이용해 즉시 복원된다.

희소그룹라소(sparse group lasso)의 경우, L1 페널티가 추가되어 각 계수에 대한 부호(sign) 정보가 필요하다. 이를 위해 저자들은 Signed Single Line Search(SSLS) 알고리즘을 제안한다. SSLS는 먼저 현재 그룹의 계수 부호를 추정하고, 부호가 고정된 상태에서 동일한 1차원 라인 서치를 수행한다. 부호 추정은 소프트-쓰레싱(soft-thresholding) 연산을 통해 이루어지며, 이는 L1 페널티와 L2 그룹 페널티를 동시에 만족하는 최적해를 보장한다.

이론적 측면에서 논문은 SLS와 SSLS가 각각의 블록 업데이트 단계에서 정확한 최소값을 제공함을 증명한다. 또한, 전체 알고리즘이 블록 좌표 하강법(block coordinate descent) 프레임워크에 속하므로, 기존 좌표 하강법의 수렴 보장을 그대로 적용할 수 있다. 실험에서는 다양한 시뮬레이션 설정(그룹 수, 그룹 크기, 신호 대 잡음비, 상관 구조 등)에서 SLS와 SSLS가 기존의 glmnet, grpreg, SGL 등 구현보다 평균 30%~70% 적은 연산 시간을 기록한다. 특히, 높은 상관성을 가진 변수 그룹에서는 라인 서치 단계가 거의 한 번만 수행되어 큰 효율성을 보인다.

결과적으로, 이 논문은 그룹 라소와 희소 그룹 라소 문제에 대해 “정확한 블록별 최적화”라는 새로운 패러다임을 제시한다. 단일 일변량 라인 서치를 통한 정확한 업데이트는 계산 복잡도를 크게 낮추면서도 수렴 속도를 가속화한다는 점에서 실용적 가치가 높다. 향후 확장 가능성으로는 일반화 선형 모델, 다중 응답 회귀, 그리고 비선형 페널티(예: SCAD, MCP) 등에 대한 적용이 기대된다.