추가 영을 가진 데이터 모델링을 위한 랜덤 효과 복합 포아송 모델

초록

본 논문은 제로 인플레이션이 심한 이산·연속 데이터를 위해, 마크된 포아송 과정의 수확을 모사한 복합 포아송 모델에 랜덤 효과를 결합한 새로운 계층적 구조를 제안한다. 전통적인 혼합·두 단계 모델과 달리 스케일 변환에 일관성을 유지하며, EM‑알고리즘에 중요도 샘플링 기반 몬테카를로 단계를 도입해 파라미터 추정과 신뢰구간 검증을 수행한다. 해양 바닥 트롤 조사 데이터에 적용해 모델의 실용성을 입증한다.

상세 분석

이 연구는 제로 인플레이션(zero‑inflated) 현상이 두드러지는 데이터에 대한 기존 접근법의 한계를 지적한다. 혼합 모델이나 두 부분(두‑파트) 모델은 관측값이 영일 확률을 별도 파라미터로 두어 설명하지만, 관측 단위가 변하거나 공간·시간적 스케일이 바뀔 때 파라미터 해석이 일관되지 않는다. 저자는 ‘마크된 포아송 과정(marked Poisson process)’을 기반으로, 사건이 발생할 확률은 포아송 과정의 강도 λ에 의해 결정되고, 각 사건이 실제 관측값을 제공할지 여부는 독립적인 마크 변수(예: Bernoulli)로 모델링한다. 이렇게 하면 영값은 자연스럽게 포아송 과정에서 ‘수확되지 않은’ 사건으로 해석되어, 스케일 변환 시 λ만 재조정하면 동일한 구조를 유지한다는 장점이 있다.

랜덤 효과는 지역별 혹은 샘플별 이질성을 반영한다. 구체적으로 λ와 마크 확률 p를 로그·로그오즈 변환 후 정규분포를 가정한 랜덤 효과를 추가함으로써, 각 군집(예: 트롤 구역)마다 서로 다른 평균 발생률과 영값 비율을 허용한다. 이는 베이지안 계층 모델과 유사하지만, 저자는 빈도주의적 추정을 목표로 EM 알고리즘을 선택한다.

EM 단계에서 완전 데이터는 (Y, N, Z) – 관측값 Y, 포아송 사건 수 N, 마크 변수 Z – 로 구성된다. E‑step에서는 현재 파라미터 추정값을 이용해 N과 Z의 조건부 기대값을 계산한다. 그러나 N은 무한히 큰 상태공간을 갖기 때문에 직접 계산이 불가능하고, 저자는 중요도 샘플링을 통해 N의 분포를 근사한다. 제안된 중요도 분포는 포아송‑가우시안 혼합 형태로, 샘플링 효율을 높이기 위해 사전 파라미터와 현재 추정값을 조정한다. M‑step에서는 기대값을 이용해 λ와 p의 로그·로그오즈 평균 및 공분산을 닫힌 형태로 업데이트한다.

시뮬레이션에서는 파라미터가 중간값에서 크게 벗어날 경우 신뢰구간의 실제 커버리지가 asymptotic 이론보다 낮아지는 것을 확인한다. 이는 EM‑MC 알고리즘이 수렴은 하지만, 작은 표본·높은 제로 비율 상황에서는 추가적인 부트스트랩이나 베이지안 사후분포 추정이 필요함을 시사한다.

실제 데이터 적용에서는 두 개의 해양 무척추동물 군집(예: 바다게와 연체동물)을 대상으로, 전통적인 제로‑인플레이션 포아송(NB‑ZIP) 모델과 비교했다. 제안 모델은 AIC/BIC에서 우수했으며, 특히 지역별 랜덤 효과가 큰 경우(예: 어획량이 크게 변동하는 구역) 예측 정확도가 현저히 향상되었다. 또한, 모델이 제공하는 영값 발생 메커니즘이 생태학적 해석(예: 서식지 적합성, 채집 효율)과 직관적으로 연결돼, 정책 입안자에게 실용적인 인사이트를 제공한다.

전체적으로 이 논문은 제로 인플레이션 데이터를 다루는 새로운 확률적 프레임워크를 제시하고, EM‑MC 알고리즘을 통한 실용적인 추정 절차를 구현함으로써, 통계학·생태학·공학 등 다양한 분야에서 적용 가능성을 열어준다.