정규화 상수 문제를 해결하는 대조적 베이지안 추론

이 논문은 정규화 상수가 계산적으로 다루기 힘든(unractable) "비정규화 모델(Unnormalized models)"에 대한 새로운 베이지안 추론 프레임워크를 제안한다. 이러한 모델은 Ising 모델, 지수 랜덤 그래프 모델, 비가우시안 그래픽 모델 등 복잡한 의존 구조를 가진 데이터를 모델링하는 데 유용하지만, 매개변수에 의존하는 정규화 상수(분할 함수)를 계산해야 하는 난제로 인해 표준 베이지안 방법의 적용이 극히 제한되어 왔다. 기존 해법은 크게 두 갈래이다. 첫째, 의사-주변(Pseudo-marginal) MCMC와 같은 점근적으로 정확한 알고리즘은 정규화 상수의 불편 추정량을 사용하지만, 매 반복마다 고비용의 내부 몬테카를로 추정이 필요해 계산 부담이 크다. 둘째, 함수 에뮬레이션 같은 근사적 MCMC나 점수 기반 일반화 베이지안 추론은 계산 효율적이지만, 각각 정확한 사후분포 수렴 보장이 없거나, 학습률 하이퍼파라미터의 민감한 튜닝이 필요하다는 한계가 있다. 본 연구는 노이즈 대조 추정(Noise Contrastive Estimation, NCE)의 원리에 기반한 "노이즈-대조적 베이즈(Noise-Contrastive Bayes, NC-Bayes)"를 제안하여 이러한 한계를 극복한다. 핵심 아이디어는 추론 문제를 관측 데이터와 알려진 노이즈 분포에서 생성된 인공 데이터를 구분하는 이진 분류 문제로 재구성하는 것이다. 이 과정에서 정규화 상수 Z(θ)를 모수 θ와 별도의 미지의 모수 Z로 취급한다. 이를 통해 생성된 분류 가능도 함수는 원래 모델의 정규화 상수를 포함하지 않게 되어, (θ, Z)에 대한 사후분포를 직접적으로 정규화 상수 계산 없이 다룰 수 있게 된다. 방법론 섹션에서는 이 프레임워크의 구체적인 실행 방안을 제시한다. 모델이 지수족 형태인 경우, 분류 가능도는 로지스틱 회귀 형태가 되며, 여기에 Pólya-Gamma 데이터 증강 기법을 적용하면 가능도를 정규분포의 스케일 혼합으로 표현할 수 있다. 결과적으로, 재매개변수화된 모수 벡터 γ = (θᵀ, -log Z)ᵀ에 대해 정규 사전분포를 설정하면, 모든 완전 조건부 사후분포가 정규분포 또는 Pólya-Gamma 분포가 되어 간단한 깁스 샘플러(Algorithm 1)를 설계할 수 있다. 이는 복잡한 유사-주변 방법들에 비해 월등한 계산 효율성을 제공한다. 또한, 노이즈 분포 선택의 영향을 완화하기 위해 매 반복마다 노이즈 샘플을 재생성하는 방법(Algorithm 2)과, 현재의 모수 추정치를 바탕으로 노이즈 분포를 적응적으로 업데이트하는 템퍼링 중요도 재표집 방법(Algorithm 3)을 제안한다. 제안 방법의 유용성은 두 가지 도전적인 응용 사례를 통해 입증된다. 첫 번째는 시간에 따라 변하는 밀도 모델(Time-varying density models)로, 로지스틱 가우시안 과정을 통해 밀도 함수의 시간적 진화를 포착한다. NC-Bayes는 잠재적 시간 동역학에 대한 불확실성을 정량화하면서 정확한 점 추정을 제공한다. 두 번째는 다변량 원형(각도) 데이터를 위한 희소 토러스 그래프 모델(Sparse torus graph models)이다. 이 모델은 변수 간의 주기적 상호작용을 그래프로 표현하며, NC-Bayes 프레임워크는 모수 추정과 함께 그래프 간선 선택(변수 선택)을 위한 효과적인 수축 사전분포의 통합을 가능하게 한다. 시뮬레이션과 실제 데이터 분석(예: 뉴런 스파이크 데이터, 바람 방향 데이터)을 통해 NC-Bayes가 기존 점수 기반 방법 및 최대사후확률 추정 기반 NCE 대비 정확한 추정 성능을 보이며, 동시에 사후분포 샘플을 통해 모수와 잠재 변수에 대한 정교한 불확실성 정량화를 제공함을 확인했다. 결론적으로, 이 연구는 정규화 상수 문제로 인해 베이지안 추론이 차단되었던 광범위한 모델 클래스에 대해, 튜닝 부담 없이 완전한 베이지안 불확실성 정량화를 가능하게 하는 실용적인 프레임워크를 마련했다는 점에서 의미가 크다.