고차원 공분산 추정과 그래프 모델 결합 방법

초록

본 논문은 고차원 데이터의 공분산 및 그 역행렬을 효율적으로 추정하기 위해, ℓ₁-패널티 회귀를 이용한 다중 회귀와 임계값 처리, 그리고 최대우도 재추정을 결합한 새로운 방법을 제안한다. 제안 기법은 그래프 구조를 일관적으로 복원하고, 연산자 노름과 Frobenius 노름에 대해 빠른 수렴 속도를 보이며, Kullback‑Leibler 발산에 대한 명시적 상한을 제공한다.

상세 분석

이 연구는 고차원 확률분포를 무방향 그래프로 표현하고, 그래프의 희소성을 ℓ₁-정규화 회귀(라쏘)로 탐색하는 전통적 접근법을 확장한다. 저자는 각 변수에 대해 다른 변수들을 설명변수로 삼아 ℓ₁-패널티 회귀를 수행하고, 얻어진 회귀계수 행렬을 임계값(threshold)으로 가공해 에지 존재 여부를 결정한다. 이 단계는 “스케일링 프리”이며, 다중 회귀를 병렬적으로 수행함으로써 계산 복잡도를 크게 낮춘다. 이후 선택된 에지 집합을 고정하고, 해당 구조에 제한된 다변량 정규분포의 최대우도 추정(MLE)을 수행한다. 이때 공분산 행렬과 그 역행렬을 동시에 추정하게 되며, MLE는 구조가 고정된 경우 전통적인 유일해 존재한다는 장점을 가진다. 이론적 분석에서는 (i) 그래프 구조 복원 일관성, (ii) 연산자 노름 ‖·‖₂와 Frobenius 노름 ‖·‖_F에 대한 수렴 속도 O(s·√(log p/n)) 형태의 경계, (iii) Kullback‑Leibler 발산에 대한 명시적 상한을 증명한다. 여기서 s는 최대 이웃 수, p는 변수 차원, n은 표본 크기이다. 가정으로는 최소특이값과 최대특이값이 일정 범위에 머무르는 공분산 행렬의 조건수 제한, 그리고 그래프가 ‘β‑희소’(각 노드당 에지 수가 O(s))라는 점을 들었다. 또한, 임계값 선택이 적절히 이루어지면 위의 결과가 모두 성립한다는 점을 강조한다. 기존의 그래프 라쏘(Glasso)와 비교했을 때, 제안 방법은 회귀 기반 전처리 단계가 구조 탐색을 더 정확하게 만들고, MLE 재추정 단계가 추정 편향을 크게 감소시킨다. 실험 결과는 시뮬레이션과 실제 유전형 데이터에서 그래프 복원 정확도와 공분산 추정 오차가 기존 방법보다 우수함을 보여준다.