Pitman Yor 프로세스를 이용한 샤논 엔트로피 추정

초록

본 논문은 종의 수가 미지인 상황에서 샤논 엔트로피를 추정하기 위해 베이지안 비모수 모델인 Pitman‑Yor 프로세스를 활용한다. 무한 차원의 확률 벡터를 가정하고, 관측된 데이터와 미관측 종을 동시에 고려한 Dirichlet‑Pitman‑Yor 혼합 모델을 제안한다. 정규화 파라미터 (d, α)를 교차 엔트로피 최소화 기준으로 선택하고, 정규분포의 꼬리 거동을 이용해 엔트로피의 수렴성을 증명한다. 시뮬레이션과 실제 데이터 실험을 통해 기존 추정기법보다 작은 표본에서도 안정적인 성능을 보임을 확인한다.

상세 분석

이 연구는 샤논 엔트로피 H(p)=−∑p_i log p_i 를 추정하는 전통적인 문제에, 특히 “관측된 표본 크기 N이 실제 종의 총수 K보다 작을 때”라는 어려운 상황을 다룬다. 기존 방법들은 K가 알려졌거나 N≫K인 경우에만 신뢰할 수 있었으며, 관측되지 않은 희귀 종에 대한 보정이 부족했다. 저자들은 이러한 한계를 극복하기 위해 Pitman‑Yor 프로세스(PYP)를 기반으로 무한 차원의 확률 벡터 π∼PY(d,α) 를 도입한다. PYP는 할인 파라미터 d∈