공액 투사극한

초록

이 논문은 비모수 베이지안 모델을 유한 차원의 공액 모델들의 투사극한으로 표현하는 이론을 제시한다. 무한 차원 지수족과 그 공액 사전분포를 일반화하고, 충분통계와 사후 업데이트가 어떻게 유한 차원에서의 구조를 그대로 이어받는지 규명한다. 대표적인 사례로 디리클레 과정과 가우시안 과정 회귀를 포함한다.

상세 분석

논문은 먼저 베이지안 모델을 확률론적 조건부분포의 체계로서 정의하고, 이를 프로젝트 시스템(projective system)으로 구성한다. 각 유한 차원 공간 Θ_n에 대해 사전 π_n, 우도 L_n, 사후 π_n(·|x) 를 정의하고, 인덱스 m≥n에 대해 제한 사상 ρ_{mn}:Θ_m→Θ_n 이 존재하도록 설정한다. 핵심 가정은 (i) 사전과 우도가 제한 사상에 대해 일관성을 유지한다는 것, 즉 π_m∘ρ_{mn}^{-1}=π_n, L_m(x|θ_m)=L_n(x|ρ_{mn}(θ_m)) 이다. 이러한 일관성은 Kolmogorov 연장정리와 유사하게 무한 차원 공간 Θ=proj lim Θ_n 에서의 사전 π와 우도 L을 정의하게 만든다.

다음으로 충분통계 T_n: X_n→S_n 가 존재하고, 제한 사상 τ_{mn}:S_m→S_n 가 충분통계와 호환되는 경우, 충분통계 자체도 프로젝트극한 T=proj lim T_n 로 구성된다. 이는 무한 차원 모델이 지수족 형태를 유지함을 의미한다. 특히, 지수족의 핵심인 로그우도는 선형 형태 ℓ(θ;x)=⟨T(x),η(θ)⟩−A(η(θ)) 로 표현되며, η와 A 역시 제한 사상에 대해 호환된다.

공액성(conjugacy)은 사전이 우도의 충분통계에 대해 닫힌 형태를 유지하는 성질이다. 논문은 유한 차원에서 공액 사전 π_n가 존재하고, 사전 파라미터 ψ_n 가 제한 사상 ψ_{mn}와 일관될 때, 무한 차원 사전 π도 ψ=proj lim ψ_n 로 정의될 수 있음을 증명한다. 이때 사후 업데이트는 ψ’ = ψ + T(x) 형태로 제한 사상에 따라 자연스럽게 확장된다. 즉, 무한 차원 모델의 사후도 유한 차원 공액 업데이트의 투사극한이다.

특히, 디리클레 과정은 베타-베르누이 지수족의 투사극한으로 해석될 수 있다. 베타 사전의 파라미터 (α,β) 가 점점 세분화된 파티션에 대해 일관되게 제한되면, 전체 무한 차원 확률질량 함수는 디리클레 과정이 된다. 가우시안 과정 회귀는 다변량 정규분포의 공액 구조를 무한 차원으로 확장한 사례이며, 평균 함수와 공분산 커널이 제한 사상에 따라 수렴한다는 조건 하에 동일한 공액 업데이트가 적용된다.

마지막으로 논문은 무한 순열(permutation) 공간에 대한 새로운 비모수 모델을 구성한다. 유한 차원에서는 대칭 그룹 S_n 의 균등 사전과 순열에 대한 관측 모델을 정의하고, 제한 사상은 n+1→n 로의 자연적인 투사이다. 이 시스템의 프로젝트극한은 무한 순열에 대한 확률분포를 제공하며, 충분통계는 순열의 순환 구조를 포착한다. 공액 사전은 파라미터화된 Ewens 분포 형태를 띠며, 관측이 추가될 때 파라미터가 순환 수에 따라 업데이트된다. 이는 기존 비모수 베이지안 모델에 새로운 클래스를 추가하는 의미를 가진다.

전체적으로 논문은 “비모수 베이지안 모델 = 유한 차원 공액 모델들의 투사극한”이라는 강력한 프레임워크를 제시하고, 이를 통해 기존 모델들의 구조적 이해를 심화시키며, 새로운 모델 설계에 대한 이론적 토대를 제공한다.