미지 크기 공간에서 정의된 분포 함수 추정: IUV 원칙과 베이지안 접근

초록

본 논문은 베이지안 추정에서 사건 공간의 크기 $m$와 디리클레 사전의 농도 파라미터 $c$를 하이퍼사전으로 다루고, $P(c,m)=P(c)P(m)$일 때 “보이지 않는 변수의 무관성”(IUV) 성질을 만족함을 보인다. IUV를 만족하는 하이퍼사전은 상호정보량 등 정보이론적 함수의 사후 기대값이 사건 공간의 표현 방식에 독립적임을 보이며, 계산을 크게 단순화한다. 실험을 통해 IUV 기반 엔트로피 추정기가 기존 방법보다 우수함을 확인한다.

상세 분석

이 논문은 정보이론적 함수, 특히 엔트로피와 상호정보량을 데이터로부터 베이지안 방식으로 추정할 때 발생하는 두 가지 근본적인 불확실성을 다룬다. 첫 번째는 사건 공간의 크기 $m$(또는 $|Z|$)이 사전에 알려져 있지 않을 경우이며, 두 번째는 디리클레 사전의 농도 파라미터 $c$가 실제 데이터에 얼마나 영향을 미칠지 모를 때이다. 기존 연구(WW, NSB)는 $c$와 $m$을 고정하거나 $c$를 $m$에 비례하도록 설정했지만, 이는 $c$와 $m$이 서로 의존한다는 가정을 내포한다. 저자는 이 의존성을 없애고 “보이지 않는 변수의 무관성”(Irrelevance of Unseen Variables, IUV)이라는 desideratum을 도입한다. IUV는 $P(c,m)=P(c)P(m)$, 즉 $c$와 $m$이 독립적인 경우에만 만족한다는 정리를 제시한다. 이 조건이 성립하면, 사건 공간을 어떻게 분할하거나 곱집합으로 표현하든(예: $X\times Y$와 $X$, $Y$ 각각) 사후 기대값 $E