자연 순서 변수를 위한 중첩 라쏘 기반 대규모 공분산 행렬 추정

초록

본 논문은 변수에 자연스러운 순서가 존재할 때, 역공분산 행렬의 희소성을 유지하면서 적응적으로 밴드폭을 선택하는 새로운 추정법을 제안한다. Cholesky 분해의 하삼각 행렬에 ‘중첩 라쏘’ 패널티를 적용해 각 행마다 최적의 밴드폭을 자동으로 결정하고, 이를 위한 효율적인 반복 알고리즘을 개발하였다. 시뮬레이션과 실제 데이터 분석에서 기존 방법들을 능가함을 보였다.

상세 분석

이 연구는 고차원 데이터에서 공분산 행렬 Σ 혹은 그 역행렬 Σ⁻¹을 직접 추정하는 문제에 초점을 맞춘다. 변수들이 시간·공간 등 자연스러운 순서를 가질 경우, Σ⁻¹의 Cholesky 분해 Σ⁻¹ = Tᵀ D⁻¹ T에서 하삼각 행렬 T의 하위 대각선 원소들은 각각의 변수 X_j를 그 이전 변수들에 대한 회귀계수로 해석할 수 있다. 기존의 밴드드(banded) 접근법은 모든 행에 동일한 밴드폭 k를 강제해 유연성이 부족하고, 라쏘(L₁) 패널티를 적용한 방법은 T의 원소를 임의 위치에 0으로 만들지만, 결과적으로 Σ⁻¹이 희소해지지 않는다.

논문은 ‘중첩 라쏘(Nested Lasso)’라는 새로운 패널티 J(φ_j)를 도입한다. J는 |φ_{j,l}|·|φ_{j,l+1}| 형태의 곱을 합산함으로써, φ_{j,l}=0이면 그보다 앞선 모든 계수도 0이 되도록 강제한다. 즉, 각 회귀에서 사용되는 선행 변수는 연속된 가장 가까운 k_j개만 허용되며, k_j는 행마다 다르게 선택될 수 있다. 이를 통해 T는 여전히 밴드 구조를 유지하지만, 각 행마다 최적의 밴드폭을 자동으로 결정하는 ‘적응 밴딩(adaptive banding)’이 가능해진다.

패널티의 스케일링 문제를 해결하기 위해 두 가지 변형 J₁, J₂를 제안한다. J₁은 각 계수의 절대값을 해당 변수와 바로 앞 변수 간 회귀계수 ˆφ*_{j,j‑1} 로 정규화하고, J₂는 두 개의 튜닝 파라미터 λ₁, λ₂를 도입해 절대값과 비율 항을 별도로 가중한다. 실험에서는 세 버전 모두 비슷한 성능을 보였으며, J₁이 약간 우수했다.

최적화는 비볼록 패널티 때문에 직접적인 해를 구하기 어렵다. 저자는 초기값을 단변량 회귀(φ̂*_{j,t})로 설정하고, σ_j와 φ_j를 교대로 업데이트하는 좌표 상승(coordinate ascent) 방식을 사용한다. σ_j는 잔차 제곱합의 닫힌 형태 해가 존재하고, φ_j는 근사 2차 형태 |φ|≈(φ²)/(2|φ^{(k)}|)+|φ^{(k)}|/2 를 이용해 이차형 문제로 변환한다. 이 반복은 빠르게 수렴하며, p>n 상황에서도 초기값만 적절히 잡으면 안정적으로 동작한다.

이론적으로는 기존 밴드드 추정기의 일관성 결과(Bickel & Levina, 2007)를 그대로 적용할 수 있음을 언급한다. 실험에서는 차원(p)이 증가할수록 적응 밴딩이 다른 방법(샘플 공분산, 선형 결합, L₁ 라쏘 기반, 고정 밴드)보다 평균 제곱 오차와 로그가능도에서 현저히 우수함을 확인했다. 실제 데이터(유전자 발현 시계열)에서도 변수 간 조건부 독립 구조를 더 정확히 포착했다.

핵심 기여는 (1) 행별로 다른 밴드폭을 허용하는 중첩 라쏘 패널티 설계, (2) 비볼록 최적화를 위한 실용적인 반복 알고리즘, (3) 고차원 상황에서도 역공분산의 희소성을 보장하면서 정확도를 크게 향상시킨다는 실증적 증명이다.