회귀 혼합 모델을 위한 반발 g‑사전

초록

본 논문은 회귀 혼합 모델에 Mahalanobis 거리 기반의 반발 g‑사전을 도입하여, 설계 행렬이 만든 예측 기하학을 고려한 클러스터 분리를 촉진한다. 이 사전은 기존의 독립 사전과 달리 구성 요소 간 중복을 억제하고, 공액성 업데이트를 유지하면서 효율적인 차단‑collapsed Gibbs 샘플러를 제공한다. 정규화 상수의 선형 성장, 사후 수축률, 클러스터 수에 대한 꼬리 질량 감소 등을 이론적으로 입증하고, 상관·중첩 설계 시뮬레이션에서 클러스터링 정확도와 예측 성능이 크게 향상됨을 보인다.

상세 분석

이 연구는 회귀 혼합 모델에서 “반발(prior)’’이라는 개념을 기존 밀도 혼합에 적용한 뒤, 회귀 특유의 예측 공간을 반영하도록 확장한 것이 핵심이다. 설계 행렬 X 가 비정방향이며 고차원일 경우, β 벡터 간의 유클리드 거리는 예측 평균 Xβ 공간에서의 실제 구별력과 불일치한다. 이를 해결하기 위해 저자는 Zellner의 g‑사전을 활용해 β 를 √g (XᵀX)^{‑½} 변환한 η 공간으로 옮긴 뒤, η 간의 유클리드 거리를 반발 함수 h 에 적용한다. 변환을 역으로 되돌리면, β 간의 Mahalanobis 거리 (β₁‑β₂)ᵀ g (XᵀX)^{‑1}(β₁‑β₂) 가 반발 강도로 사용된다. 즉, 설계 행렬이 정의하는 공분산 구조에 따라 “잘 식별되는 방향’’에서는 강한 반발을, 정보가 부족한 방향에서는 완화된 반발을 제공한다.

반발 함수는 h_K(β₁,…,β_K)=min_{k<k’} G( (β_k‑β_{k’})ᵀ A (β_k‑β_{k’}) ) 형태이며, A=g (XᵀX)^{‑1} 이다. 여기서 G 은 0에서 1로 증가하는 스무딩 함수(예: t/(t+g₀))이며, g₀는 반발 강도를 조절한다. 이 구조는 기존의 독립 사전과 달리 β 간의 상호작용을 명시적으로 모델링하면서도, 각 β_k에 대한 g‑사전 N(0, gσ² A) 이라는 공액성 사전 덕분에 Gibbs 샘플링에서 폐쇄형 조건부분포를 유지한다.

이론적 측면에서는 정규화 상수 Z_K 가 K에 대해 선형적으로 증가함을 정리 1을 통해 증명한다. 즉, −log Z_K ≤ c₁K (상수 c₁>0)이며, 이는 K가 커져도 사전이 비정상적으로 억제되지 않음을 의미한다. 또한, 가정 A1‑A10 하에 사후 일관성, 수축률, 그리고 클러스터 수에 대한 꼬리 질량 감소(tail‑shrinkage)를 보인다. 특히, 반발 함수가 Mahalanobis 거리를 사용함으로써 “구분하기 어려운” 클러스터는 사전 확률이 크게 감소하고, 과도한 클러스터링을 자연스럽게 억제한다.

계산 알고리즘은 차단‑collapsed Gibbs 샘플러로 구현된다. 주요 단계는 (1) 사전 정규화 상수 Z_k 의 사전 몬테카를로 추정, (2) 새로운 클러스터 후보 생성 시 h_{K+1} 에 기반한 메트로폴리스 수용‑거부, (3) 기존 관측치에 대한 군집 할당을 Dirichlet‑MFM 구조와 결합한 다항분포로 샘플링, (4) K 값을 빈 클러스터 수와 사전 Z_K 를 이용해 이산형 사후로 업데이트, (5) 각 클러스터의 σ²와 β를 공액성 전후분포로 샘플링하고, 최종 β 제안에 대해 h_K 수용‑거부를 수행한다. 이 과정은 반발 효과를 유지하면서도 높은 효율성을 제공한다.

시뮬레이션에서는 설계 행렬이 고상관·고중첩인 경우와 독립적인 경우를 모두 고려하였다. 비교 대상은 (i) 독립 g‑사전, (ii) Euclidean 거리 기반 반발 사전, (iii) 가중치 스파시티(Dirichlet‑process, MFM) 기반 사전이다. 결과는 제안된 Mahalanobis 반발 사전이 클러스터 수 추정 정확도와 예측 평균제곱오차(MSE) 모두에서 우수함을 보여준다. 특히, 약한 구분성을 가진 클러스터가 합쳐지는 현상이 크게 감소했으며, 과도한 클러스터 생성이 억제되어 모델 해석성이 향상되었다.

전반적으로, 이 논문은 회귀 혼합 모델에 설계 행렬이 만든 기하학을 직접 반영한 반발 사전을 제시함으로써, 기존 방법들의 한계를 극복하고 이론·실험 모두에서 강력한 성능을 입증한다.