베이지안 부트스트랩으로 목표 파라미터 불확실성 추정

초록

본 논문은 베이지안 부트스트랩과 디리클레 과정(DP)을 활용해, 관심 대상인 ‘목표 파라미터’를 정확히 추정하고, 동시에 존재하는 제한된 차원의 교란( nuisance) 파라미터의 불확실성을 반영하는 일반적인 방법을 제시한다. 인과 추론에서 흔히 사용되는 추정 방정식과 propensity score를 예시로 삼아, 제안된 ‘연결된 베이지안 부트스트랩(Linked Bayesian Bootstrap)’의 확률적·점근적 성질을 이론적으로 증명하고, 신뢰구간의 명목 수준 커버리지를 보장한다. 또한, 모델 오차가 존재하거나 단일 로버스트( singly‑robust) 추정기에만 의존하는 경우에도 적용 가능함을 보여준다.

상세 분석

논문은 먼저 목표 파라미터를 “데이터 생성 메커니즘의 함수”로 정의하고, 전통적인 likelihood × prior 틀에 얽매이지 않는 새로운 베이지안 프레임워크를 구축한다. 핵심 아이디어는 디리클레 과정의 사후분포가 α→0 일 때 베이지안 부트스트랩(Weighted empirical process)으로 수렴한다는 사실을 이용해, 가중치 w_i∼Dirichlet(1,…,1) 를 무작위로 생성하고 이를 이용해 손실함수 또는 추정 방정식의 가중합을 최소화/해를 구함으로써 파라미터의 사후표본을 얻는 것이다.

손실‑최소화 부트스트랩(Loss‑Likelihood Bootstrap)에서는 θ̂_n,B = argmin_θ Σ_i w_i l(O_i;θ) 로 정의된 베이지안 부트스트랩 사후가 기존 M‑estimator θ̂_n 와 동일한 1차점근 분포를 갖는다는 정리(Thm 2.1)를 제시한다. 이는 “베이지안‑빈도주의 이중성”을 명시적으로 보여 주며, 사후 평균 주변의 베이지안 신뢰구간이 전통적인 신뢰구간과 동일한 asymptotic coverage 를 가진다는 중요한 결론을 도출한다.

다변량 상황에서 목표 파라미터의 부분( marginal )에 대한 사후분산은 전체 공분산 행렬의 해당 블록을 취함으로써 얻어지며, 조건부 사후분산보다 항상 크거나 같다(양의 정부호 차이). 이는 베이지안 부트스트랩이 전체 파라미터 공간을 동시에 고려함을 의미한다.

다음으로 논문은 손실‑최소화 대신 추정 방정식(Estimating Equations) 접근을 제시한다. 일반적인 m(O;θ) = 0 형태의 순간조건을 만족하는 θ 를 목표 파라미터로 정의하고, 동일한 Dirichlet 가중치를 적용해 Σ_i w_i m(O_i;θ)=0 를 푸는 알고리즘(Alg 3.1)을 제안한다. 이 경우에도 정리(Thm 3.1)를 통해 √n(θ̂_n,B − θ̂_n) 가 N(0, L) 로 수렴함을 보이며, L 은 Jacobian과 변동성 행렬을 결합한 ‘sandwich’ 형태로, 전통적인 G‑MM 이론과 일치한다.

인과 추론 예시에서는 부분선형 모델 Y = θ Z + g(X)+U₁ 와 치료 변수 Z = e(X)+U₂ 를 고려한다. 여기서 e(X) 는 propensity score 로, 파라미터 h (logistic 회귀계수) 로 모델링된다. 목표 파라미터 θ₀ (평균 치료 효과)는 moment condition m(O;θ,h)= (Y−θZ)(Z−e(X;h)) 로 정의된다. h 를 로지스틱 회귀로 추정한 후, 위의 베이지안 부트스트랩 절차를 적용하면 θ에 대한 사후표본을 얻고, 그 신뢰구간이 asymptotically 정확함을 증명한다. 또한, miss‑specified 모델(예: k(O;θ,φ,h) = (Y−θZ−φe(X;h))(Z−e(X;h))) 과 IPW, ATT 등 다양한 추정량에 대해서도 동일한 프레임워크가 적용 가능함을 보여준다.

이론적 결과는 두 단계 절차(먼저 propensity score 를 추정하고, 그 추정치를 이용해 목표 파라미터를 추정) 가 베이지안 관점에서도 정당화될 수 있음을 증명한다. 특히, 교란 파라미터 ĥ 의 불확실성을 Dirichlet 가중치와 결합해 사후에 반영함으로써, 전통적인 플러그인 방식이 갖는 ‘베이지안 불일치’ 문제를 해소한다.

마지막으로 시뮬레이션과 실제 데이터 분석을 통해 제안 방법이 기존 베이지안 부트스트랩, 표준 베이지안 MCMC, 그리고 빈도주의 추정법에 비해 커버리지와 효율성 면에서 경쟁력 있음을 실증한다.