분해 가능한 그래프 모델 혼합을 이용한 베이지안 공분산 행렬 추정

초록

본 논문은 가우시안 데이터의 공분산 행렬을 베이지안 방식으로 추정한다. 분해 가능한 무향 그래프들의 전체 집합 위에 그래프 크기별 균등 확률을 부여한 사전분포를 구성하고, 이를 통해 그래프 구조 선택과 공분산 추정을 동시에 수행한다. 실험 결과, 그래프 크기별 균등 사전이 모든 그래프에 균등 사전을 두는 기존 방법보다 정확한 그래프 복원과 더 효율적인 공분산 추정을 제공한다.

상세 분석

이 연구는 고차원 가우시안 데이터의 공분산 행렬을 추정할 때, 그래프 구조를 명시적으로 고려하는 베이지안 프레임워크를 제시한다. 핵심 아이디어는 공분산 행렬 Σ와 그에 대응하는 정밀 행렬 Ω=Σ⁻¹ 사이의 희소성 관계를 무향 그래프 G로 표현하고, G가 분해 가능(decomposable)한 경우에만 사후 계산이 용이하도록 하는 것이다. 기존 연구들은 모든 가능한 그래프에 동일한 사전 확률을 부여했지만, 이는 그래프 크기(즉, 에지 수)에 따라 사전 확률이 크게 편향되는 문제를 내포한다. 저자들은 사용자가 원하는 그래프 크기 분포를 직접 지정할 수 있게 하여, 동일한 크기의 그래프들에 균등 확률을 할당하는 새로운 사전 π(G)∝1/|𝔾_k| (k는 그래프의 에지 수, 𝔾_k는 크기 k인 그래프 집합) 를 제안한다. 이 사전은 그래프 크기별 균등성을 보장하면서도 전체 그래프 공간을 포괄한다.

베이지안 모델은 다음과 같이 구성된다.

1. 그래프 G에 대한 사전 π(G) 위에서, 주어진 G에 대해 정밀 행렬 Ω는 G‑와 호환되는 와이시트 사전(Wishart prior) W(δ, D) 를 갖는다. 여기서 δ는 자유도, D는 스케일 행렬이며, D는 일반적으로 표준화된 단위 행렬로 설정한다.
2. 관측 데이터 X₁,…,X_n ~ N_p(0, Σ) 가 주어지면, 그래프 G와 정밀 행렬 Ω에 대한 결합 사후는 폐쇄형 형태를 유지한다. 특히, 분해 가능한 그래프의 경우 클리크와 분리 집합을 이용해 사후 분포를 클리크별로 분해할 수 있어 계산 효율성이 크게 향상된다.
3. 그래프 G에 대한 사후 확률은 마르코프 체인 몬테카를로(MCMC) 샘플링, 구체적으로는 그래프 전이 연산자를 이용한 전이 확률을 설계하여 추정한다. 전이 연산자는 에지 추가·삭제를 통해 현재 그래프와 인접한 그래프 집합을 탐색한다.

실험에서는 (i) 합성 데이터에서 실제 그래프 구조를 복원하는 정확도, (ii) 추정된 공분산 행렬과 실제 행렬 사이의 Frobenius norm 차이, (iii) 로그우도 기반 예측 성능을 평가 지표로 사용한다. 결과는 그래프 크기별 균등 사전이 특히 그래프가 희소하거나 중간 정도의 복잡도를 가질 때, 기존 균등 사전보다 높은 구조 복원률과 낮은 추정 오차를 보임을 확인한다. 이는 사전이 그래프 크기에 대한 사전 지식을 반영함으로써, 불필요하게 복잡한 그래프에 대한 과도한 확률 할당을 방지하고, 실제 데이터에 맞는 적절한 복잡도의 그래프를 더 빨리 탐색하게 하기 때문이다.

또한, 저자들은 사전 파라미터 δ와 D에 대한 민감도 분석을 수행했으며, δ가 작을수록(즉, 더 비정보적 사전) 사후가 데이터에 더 의존하게 되지만, 그래프 크기 사전 자체가 모델 선택에 큰 영향을 미친다는 점을 강조한다. 이와 같이 그래프 크기 균등 사전은 베이지안 구조 학습에서 사전 설계의 중요성을 재조명하고, 실용적인 고차원 공분산 추정에 유용한 도구가 될 수 있음을 입증한다.