클러스터패스 기반 가우시안 그래픽 모델링

초록

본 논문은 변수 간 조건부 의존성을 파악하는 가우시안 그래픽 모델(GGM)에 클러스터링을 동시에 수행하는 새로운 정규화 기법인 Clusterpath GGM(CGGM)을 제안한다. 집합 간 평균 차이를 억제하는 aggregation penalty와 ℓ₁ sparsity penalty를 결합한 convex 최적화 문제를 풀어 블록 구조의 precision matrix를 추정하고, 이를 효율적인 순환 블록 좌표 하강법으로 구현한다. 시뮬레이션 및 실제 데이터 분석을 통해 기존 방법보다 추정 정확도와 클러스터링 성능이 우수함을 입증한다.

상세 분석

본 연구는 고차원 데이터에서 변수 수(p)가 관측치 수(n)보다 크게 될 때 발생하는 추정 불확실성을 완화하기 위해, 변수 자체를 군집화하는 접근을 채택한다. 기존의 GGM 연구는 주로 ℓ₁ 정규화를 통해 그래프의 에지를 희소하게 만드는 방향에 초점을 맞추었지만, 이는 복잡한 네트워크에서 중요한 연결 구조를 놓칠 위험이 있다. CGGM은 이러한 한계를 극복하기 위해 두 가지 정규화 항을 동시에 적용한다. 첫 번째는 aggregation penalty로, 정밀도 행렬 Θ의 열(또는 행) 벡터 간 차이 d_{jj’}(Θ)를 제곱합 형태로 penalize한다. 여기서 d_{jj’}(Θ)= (θ_{jj}−θ_{j’j’})² + Σ_{m≠j,j’} (θ_{jm}−θ_{j’m})² 로 정의되며, 이는 변수 j와 j’가 동일한 클러스터에 속하도록 유도한다. 두 번째는 ℓ₁ sparsity penalty λ_s Σ_{j≠j’} z_{jj’}|θ_{jj’}| 로, 불필요한 에지를 제거해 그래프를 해석 가능하게 만든다. 두 정규화 파라미터 λ_c와 λ_s를 조절함으로써 클러스터링 강도와 희소성 사이의 트레이드오프를 자유롭게 설정할 수 있다.

수학적으로는 −log|Θ| + tr(SΘ) 라는 로그우도에 위 두 정규화 항을 더한 convex 목적함수를 최소화한다. Θ는 대칭 양정(positive definite) 행렬이어야 하며, 이는 최적화 영역이 convex cone인 SPD(대칭 양정 행렬)임을 의미한다. 이 구조 덕분에 기존의 convex 최적화 툴을 그대로 적용할 수 있다. 알고리즘 측면에서는 순환 블록 좌표 하강법(cyclic block coordinate descent)을 사용한다. 각 블록은 Θ의 한 열(또는 행) 전체를 업데이트하는데, 이때 closed‑form 솔루션이 존재하거나 작은 규모의 quadratic 프로그램으로 변환된다. 이 방식은 메모리 사용량을 O(p²)에서 O(p) 수준으로 감소시키고, 대규모 p에 대해서도 선형 시간 복잡도에 근접하는 실행 속도를 제공한다.

또한, 제안된 방법은 precision matrix뿐 아니라 covariance matrix에도 동일한 블록 구조를 강제할 수 있다. 이는 Θ⁻¹이 동일한 클러스터 구성을 유지한다는 중요한 특성을 갖는다. 기존 연구(Yao & Allen, 2019; Pircalabelu & Claeskens, 2020; Wilms & Bien, 2022)에서는 either precision 혹은 covariance에만 블록 구조를 부여했으나, 역변환 시 구조가 깨지는 문제가 있었다. CGGM은 diagonal 항까지 동일하게 제약함으로써 Θ와 Θ⁻¹ 모두에서 클러스터링 정보를 보존한다.

실험에서는 다양한 시뮬레이션 설정(다양한 p, n, 클러스터 수, 신호 강도)에서 CGGM이 평균 제곱 오차(MSE), 정밀도·재현율, 클러스터링 정확도(Adjusted Rand Index) 측면에서 기존 state‑of‑the‑art 방법들을 능가함을 보였다. 특히, λ_c를 크게 설정했을 때는 완전 클러스터링(모든 변수가 하나의 그룹)까지 자연스럽게 이어지는 “cluster path”를 관찰할 수 있다. 실제 데이터 적용 사례로는 S&P 100 주식 데이터, OECD 복지 지표, 그리고 유머 스타일 설문 데이터가 제시되었으며, 각각에서 블록 구조가 해석 가능한 산업/국가/심리적 그룹을 드러내어 실용성을 입증하였다.

요약하면, CGGM은 (1) 변수 클러스터링을 정규화 프레임워크에 자연스럽게 통합, (2) 블록 구조가 precision과 covariance 양쪽에 동시에 유지, (3) convex 최적화와 효율적인 좌표 하강 알고리즘을 통해 대규모 문제에 적용 가능, (4) 실험 및 실제 사례에서 기존 방법 대비 전반적인 성능 향상을 보여주는 종합적인 솔루션이다.