가우시안 프로세스로 비모수 베이지안 밀도 추정

초록

본 논문은 가우시안 프로세스(GP)를 기반으로 한 비모수 베이지안 밀도 모델인 Gaussian Process Density Sampler(GPDS)를 제안한다. GP에서 샘플링된 함수에 비선형 변환을 적용해 정규화된 확률밀도를 만들고, 마코프 체인 몬테카를로(MCMC) 방법으로 데이터로부터 밀도와 하이퍼파라미터의 사후분포를 추정한다. 두 가지 MCMC 알고리즘을 제시하며, 실험을 통해 기존 방법 대비 높은 정확도와 유연성을 입증한다.

상세 분석

GPDS는 “함수 → 밀도” 변환을 통해 가우시안 프로세스의 무한 차원 사전분포를 확률밀도 함수 공간으로 매핑한다는 점에서 혁신적이다. 구체적으로, GP f(x) ∼ GP(m,k) 를 정의하고, 이를 로짓 변환 σ(f(x)) = 1/(1+e^{-f(x)}) 로 제한함으로써 양의 값을 얻는다. 이후 정규화 상수 Z = ∫σ(f(x))dx 를 계산해 p(x) = σ(f(x))/Z 로 확률밀도를 만든다. 이 과정은 일반적인 GP가 직접 확률밀도를 제공하지 못하는 한계를 극복한다.
모델의 핵심은 교환가능성(exchangeability)이다. 데이터 {x_i}는 독립적으로 p(x)에서 샘플링되며, 이는 베이지안 비모수 추정에서 중요한 속성이다. 그러나 Z는 닫힌 형태로 계산할 수 없으므로, 논문은 두 가지 MCMC 전략을 제안한다. 첫 번째는 “데이터 증강” 방식으로, 각 관측치에 잠재 변수 u_i ∈