그래픽라소 비대칭 현상과 실용적 해결책

초록

**
그래픽라소(glasso)는 L1 정규화를 이용해 희소한 공분산·정밀도 행렬을 추정하지만, 최적화 후 역정밀도 행렬을 구성하는 과정이 수학적으로 부정확해 대칭성이 깨진다. 이는 특히 정규화 강도가 약하고 표본 공분산이 랭크 결핍일 때 심화된다. 논문은 이 현상의 원인을 분석하고, 직접 역행렬 계산, 상삼각 행렬 활용, 그리고 반복 비례 적합(IPF) 등 세 가지 실용적 보정 방법을 제안한다.

**

상세 분석

**
본 논문은 그래픽라소 알고리즘이 최적화 단계에서는 이중(dual) 문제를 정확히 풀어 정규화된 공분산 행렬 (\hat\Sigma_\lambda) 을 얻지만, 최종 단계에서 정밀도 행렬 (\hat\Omega_\lambda) 을 구성하는 절차가 근사적이라는 점을 지적한다. 구체적으로, 알고리즘은 각 변수 (j) 에 대해 라쏘 회귀 계수 (\hat\beta^{(j)}) 를 구하고, 이를 이용해 (\theta^{(j)}{jj})와 (\theta^{(j)}{-j,j})를 식 (2) 로 계산한다. 이때 (\theta^{(j)})는 현재까지 업데이트된 공분산 행렬 (W^{(j)}) 의 역행렬을 사용하지만, 최종적으로 반환되는 (\hat\Omega_\lambda)는 서로 다른 (j) 에 대해 서로 다른 (W^{(j)}) 의 역을 조합한 결과이다. 따라서 행과 열이 일관되지 않아 (\hat\Omega_\lambda\neq\hat\Omega_\lambda^{!T}) 가 되고, 심지어 (\hat\Sigma_\lambda^{-1})와도 일치하지 않는다.

이 비대칭성은 두 가지 상황에서 두드러진다. 첫째, 표본 공분산 (S) 가 랭크 결핍(즉, (n\ll p))일 때 (\lambda)를 작게 잡으면 (\hat\Omega_\lambda)의 원소가 급격히 커져 수치적 불안정성이 발생한다(Lemma 1). 둘째, 실제 데이터에서 (\lambda)를 교차검증으로 선택하면 과소정규화가 일어나고, 결과적으로 희소도가 낮은 (\hat\Omega_\lambda)가 생성되어 비대칭이 눈에 띈다. 논문은 두 가지 실험을 제시한다. 첫 번째는 (p=5, n=500) 인 저차원 사례에서 특정 원소가 비대칭적으로 0과 비0을 동시에 갖는 현상을 보여준다. 두 번째는 (p=500, n=250) 인 AR(1) 모델에서 (\lambda)가 작을수록 상·하삼각 행렬이 서로 다른 그래프를 형성함을 그래프 차이 (|E_1\Delta E_2|) 로 시각화한다.

비대칭이 초래하는 실질적 문제는 다음과 같다. (1) (\hat\Omega_\lambda)가 정밀도 행렬의 유효한 추정량이 아니므로, 그래프 구조 해석이 오류를 범한다. (2) 고유값이 복소수 혹은 음수가 될 위험이 있어, LDA, PCA 등 정밀도 행렬을 필요로 하는 다변량 분석이 불가능해진다. (3) 두 그래프가 서로 다르므로 모델 선택 및 해석에 일관성이 결여된다.

이를 해결하기 위해 저자는 세 가지 보정 방안을 제시한다. 첫 번째는 가장 직관적인 수치적 역행렬을 직접 계산해 (\hat\Omega_\lambda=\hat\Sigma_\lambda^{-1}) 로 교정하는 방법이다. 이는 (O(p^3)) 복잡도를 가지지만, 현재 구현 가능한 차원(최대 (p\approx2000))에서는 실용적이며, 작은 원소는 임계값 이하로 강제 삭제해 희소성을 유지한다. 두 번째는 상삼각 행렬 활용으로, (\hat\Omega_\lambda)의 상삼각 부분만을 최종 추정치로 채택한다. 이는 대칭성을 보장하지만 (\hat\Sigma_\lambda^{-1})와는 일치하지 않는다. 세 번째는 **반복 비례 적합(IPF)**을 적용해, 선택된 희소 패턴(예: 상삼각 행렬에서 추출) 하에 (\Sigma)와 (\Omega)를 동시에 추정한다. IPF는 최대 클리크 크 (c)에 대해 (O(c^3)) 복잡도를 가지며, 대칭성 및 (\Omega=\Sigma^{-1}) 관계를 만족한다. 다만, 이 경우에도 원래의 (\ell_1) 정규화 목적함수(1)을 정확히 최소화하지는 않는다.

전체적으로 논문은 그래픽라소 구현상의 미묘한 수치적 결함이 실용적 분석에 큰 영향을 미칠 수 있음을 강조하고, 사용자가 상황에 맞는 보정 전략을 선택하도록 가이드한다. 특히, 작은 (\lambda)와 랭크 결핍 상황에서 결과를 검증하고, 필요 시 수치적 역행렬이나 IPF를 적용하는 것이 권장된다.

**