베이지안 관점에서 본 포아송 디리클레 프로세스

초록

두 파라미터 포아송‑디리클레 프로세스(PDP)는 디리클레 프로세스의 일반화로, 언어 모델링·생물정보학·이미지 분석 등 이산 데이터에 널리 활용된다. 본 논문은 PDP의 기본 이론을 정리하고, 베이지안 모델링에 필요한 사전·사후 분포와 계산 방법을 제시한다. 특히 PDP가 자기 자신에 대해 부분적 공액(conjugate)성을 갖고, CRP를 통해 파편화·클러스터링을 구현해 트리 구조를 만들 수 있음을 강조한다. 또한 무한 차원 디리클레 분포와의 연관성을 통해 PDP를 ‘또 다른 디리클레’로 해석하고, 이산 경우에 나타나는 2차 스털링 수 계산법을 제공한다.

상세 분석

본 논문은 두 파라미터 포아송‑디리클레 프로세스(PDP)를 베이지안 관점에서 재조명한다. 먼저, 확률론적 파티션 이론을 바탕으로 ‘파티션’이라는 개념과 그 위에 정의되는 확률분포를 정형화한다. PDP는 파라미터 (α, θ)로 정의되며, α는 ‘discount’ 파라미터, θ는 ‘strength’ 파라미터로서 각각 파티션의 크기와 새로운 클러스터 생성 확률을 조절한다. 이때, PDP는 디리클레 프로세스(DP)의 특수 경우(α=0)와는 달리, 파티션 블록의 크기 분포가 파워‑법칙을 따르게 하여 더 풍부한 군집 구조를 모델링한다.

핵심적인 베이지안 특성으로는 ‘부분적 공액성(partial conjugacy)’이 있다. 즉, PDP를 사전으로 사용했을 때, 관측 데이터가 이산형(비원자)일 경우 사후 역시 동일한 형태의 PDP가 된다. 이는 계층적 모델링, 예컨대 히에라키컬 PDP(HDP) 구축에 필수적이며, 기존 DP 기반 모델보다 더 유연한 트리 구조를 자연스럽게 생성한다. 논문은 이를 수식적으로 증명하고, CRP(중국식 레스토랑 프로세스)와의 관계를 통해 직관적인 ‘고객이 테이블에 앉는’ 메커니즘을 제시한다.

또한, ‘파편화(fragmentation)’와 ‘클러스터링(clustering)’이라는 두 가지 연산을 정의한다. 파편화는 기존 파티션을 더 작은 파티션으로 나누는 과정이며, 이는 PDP의 α 파라미터가 0에 가까울수록 빈번해진다. 반대로 클러스터링은 여러 파티션을 하나로 합치는 과정으로, θ 파라미터가 크게 작용한다. 이 두 연산을 조합하면, 복합적인 트리 구조—예컨대 트리형 토픽 모델이나 계층적 군집—를 손쉽게 구성할 수 있다.

수학적 깊이에서는 ‘무한 차원 디리클레 분포’를 도입해 PDP를 ‘비정규화된 디리클레’로 해석한다. 즉, 무한히 많은 원자에 대해 비정규화된 가중치를 부여하고, 이를 정규화하면 PDP가 된다. 이 관점은 샘플링 속성(예: Chinese Restaurant Process, Stick‑Breaking Construction)을 자연스럽게 도출하게 하며, 기존 문헌에서 별도로 증명해야 했던 결과들을 일관된 프레임워크 안에서 설명한다.

마지막으로, 이산 분포에 적용될 때 등장하는 2차 스털링 수(S(n,k)와 같은) 계산법을 상세히 다룬다. 논문은 재귀식과 동적 프로그래밍을 이용한 효율적인 알고리즘을 제시하고, 이를 통해 사후 분포의 정규화 상수를 정확히 구할 수 있음을 보인다. 이러한 계산은 실제 베이지안 추론—특히 Gibbs 샘플링이나 변분 추론—에서 필수적이다.

요약하면, 본 논문은 PDP의 이론적 토대를 베이지안 시각에서 재구성하고, 부분적 공액성, 파편화·클러스터링 연산, 무한 차원 디리클레 해석, 그리고 실용적인 2차 스털링 수 계산법을 종합적으로 제공함으로써, 이산 데이터 모델링에 있어 PDP를 보다 체계적이고 효율적으로 활용할 수 있는 길을 제시한다.