교차 효과 데이터의 피전홀 부트스트랩

초록

대규모 교차 및 심하게 불균형한 랜덤 효과 구조를 가진 데이터에 대해, 행과 열을 별도로 재표본하는 피전홀 부트스트랩이 평균 일관성을 보이며 기존 부트스트랩의 편향을 극복한다는 것을 입증한다.

상세 분석

본 논문은 추천 시스템, 정보 검색, 그리고 가중치가 부여된 대규모 이분 그래프와 같이 행과 열이 각각 독립적인 랜덤 효과를 갖는 교차형 데이터에 대한 부트스트랩 방법론의 한계를 짚는다. 기존의 전통적 부트스트랩은 데이터 행을 무작위로 복원추출하는 방식으로, 교차 효과 구조가 존재할 경우 행과 열 사이의 의존성을 무시하게 된다. 그 결과, 특히 이질분산(heteroscedastic) 상황에서 추정량의 분산이 크게 과소평가되거나 과대평가되는 현상이 발생한다. McCullagh(2000)은 이러한 상황에서 어떤 부트스트랩도 완전히 정확할 수 없음을 증명했으며, 이는 “no‑bootstrap‑exactness” 정리로 알려져 있다.

저자들은 이러한 문제를 해결하기 위해 “피전홀 부트스트랩(pigeonhole bootstrap)”이라는 새로운 재표본 전략을 제안한다. 핵심 아이디어는 데이터 행과 열을 각각 독립적으로 복원추출하는 것이다. 즉, 원본 행 집합에서 N₁개의 행을, 원본 열 집합에서 N₂개의 열을 각각 무작위로 선택하고, 선택된 행‑열 쌍으로 구성된 서브매트릭스를 새로운 부트스트랩 샘플로 만든다. 이 과정은 행‑열 교차 구조를 보존하면서도 각 효과를 별도로 섞어 주어, 교차 랜덤 효과 모델의 복잡한 공분산 구조를 자연스럽게 반영한다.

수학적으로는, 행 인덱스 I₁,…,I_B와 열 인덱스 J₁,…,J_B를 독립적인 다항분포로부터 추출하고, 관측값 Y_{ij}=μ+α_i+β_j+ε_{ij} (α_i, β_j는 각각 행·열 랜덤 효과, ε_{ij}는 오차) 형태를 가정한다. 피전홀 부트스트랩은 (I_b,J_b) 쌍을 통해 재구성된 Y*_{ij}를 만든 뒤, 관심 통계량 T(Y*)의 경험분포를 이용한다. 저자들은 이 재표본이 “평균 일관성(mean‑consistency)”을 만족함을 증명한다. 즉, 부트스트랩 기대값 E*_B