상관 설계에 강한 트레이스 라쏘: 새로운 정규화 기법

초록

트레이스 라쏘는 설계 행렬의 상관관계를 반영해 모델 복잡도를 트레이스 노름으로 측정하는 정규화 방법이다. L1(라쏘)과 L2(릿지) 사이를 자동으로 보간하며, 강하게 상관된 변수들에 대해서는 L2와 유사한 안정성을, 거의 독립적인 변수들에 대해서는 L1과 같은 희소성을 제공한다. 고유한 최소값을 보장하고, 가중치 재조정 최소제곱(Iteratively Reweighted Least Squares) 알고리즘으로 효율적으로 최적화한다. 실험 결과, 강한 상관 구조를 가진 합성 데이터에서 기존 Elastic Net보다 우수한 성능을 보였다.

상세 분석

트레이스 라쏘는 기존 L1 정규화가 높은 상관관계를 가진 변수들 사이에서 선택 불안정성을 보이는 문제를 해결하기 위해 제안되었다. 핵심 아이디어는 선택된 변수들의 설계 행렬 (X)와 가중치 벡터 (w)의 곱인 (X\operatorname{Diag}(w))의 트레이스 노름((|·|*))을 복잡도 측정 지표로 사용하는 것이다. 이 노름은 행렬의 랭크에 대한 볼록 대리함수이며, 변수들이 서로 직교하면 (|X\operatorname{Diag}(w)|* = \sum_i |X^{(i)}|2|w_i|) 로 L1 노름과 동일해지고, 모든 변수가 동일하면 (|X\operatorname{Diag}(w)|* = |X^{(1)}|_2|w|_2) 로 L2(릿지) 정규화와 동일해진다. 따라서 트레이스 라쏘는 데이터의 상관구조에 따라 자동으로 L1과 L2 사이를 보간한다.

수학적으로는 (\Omega(w)=|X\operatorname{Diag}(w)|*)가 강볼록성을 갖는다는 것이 증명되었으며, 이는 손실 함수가 강볼록일 경우 해가 유일함을 보장한다. 또한, 일반적인 (P) 행렬을 도입한 (\Omega_P(w)=|P\operatorname{Diag}(w)|) 패밀리를 정의해 L1, L2, 그룹 라쏘 등 기존 정규화들을 특수 경우로 포함한다. 이 패밀리는 (\Omega_P(w)=|(P^\top P)^{1/2}\operatorname{Diag}(w)|_) 로 표현될 수 있어, 실제 구현에서는 상관행렬 (X^\top X)만 필요함을 의미한다.

최적화 측면에서는 트레이스 노름의 변분 표현 (|M|* = \frac12\inf{S\succ0}\operatorname{tr}(M^\top S^{-1}M)+\operatorname{tr}(S)) 를 이용해 가중치와 스칼라 행렬 (S)를 번갈아 업데이트하는 반복 가중치 최소제곱(Iteratively Reweighted Least Squares) 알고리즘을 제시한다. (S)는 현재 (w)에 대한 ((X\operatorname{Diag}(w)) (X\operatorname{Diag}(w))^\top) 의 고유값 분해를 통해 쉽게 구할 수 있고, (w) 업데이트는 ((X^\top X + \lambda D)w = X^\top y) 형태의 선형 시스템을 풀면 된다. 여기서 (D)는 (S^{-1})의 대각 성분을 이용해 정의된 가중치 행렬이다. 이 절차는 각 반복마다 (O(np)) 연산으로 구현 가능하며, 공액 그라디언트 방법을 사용해 빠르게 수렴한다.

실험에서는 블록 대각, 토플리츠, 그리고 클러스터형 상관구조를 가진 합성 데이터에 대해 트레이스 라쏘, Elastic Net, 그룹 라쏘, 표준 라쏘를 비교하였다. 결과는 트레이스 라쏘가 높은 상관관계 하에서 변수 선택의 일관성을 크게 향상시키면서도 예측 정확도는 기존 방법과 동등하거나 더 우수함을 보여준다. 특히, 동일한 정규화 파라미터 하나만으로도 데이터 구조에 적응하는 점이 큰 장점으로 부각된다.