계층모형 2단계 베이지안 검증 재논의

이 논문은 2007년 《Statistical Science》에 실린 “베이지안 계층모형 두 번째 단계 검증”에 대한 재논의(rejoinder)이다. 저자 M.J. Bayarri와 M.E. Castellanos는 논문에서 제시한 검증 방법에 대해 토론자들의 비판과 제안을 차례로 검토하고, 자신의 입장을 명확히 한다. 첫 부분에서는 베이지안 검증의 기본 전제인 “사전예측분포 m(x) 가 모든 관련 정보를 담는다”는 점을 재확인한다. 그러나 사전분포가 부적절하거나 테스트 통계 T 가 주변통계가 아닐 경우, 전체 사전예측분포 대신 조건부 사전예측분포 m(x | u) (여기서 U 는 적절히 선택된 조건통계) 를 사용해야 한다고 주장한다. 이는 Evans와 Johnson이 강조한 “조건부 예측” 접근과 일치한다. 특히, Bayarri와 Berger(1997,1999,2000)의 연구를 인용해 U 를 조건부 최대우도(conditional MLE) 로 잡는 것이 이론적·실용적 근거가 있음을 설명한다. 다음으로 통계량 T와 조건통계 U 의 선택에 대한 논의를 전개한다. 저자는 최적 T 선택을 목표로 하지 않으며, 직관적으로 선택된 T 에 대해 적절한 U 를 찾아 m(t | u) 를 구성하는 것이 핵심이라고 강조한다. Evans가 제시한 “T는 주변통계, U는 충분통계”라는 전통적 요건을 완화하고, 충분통계가 검증력을 감소시킬 수 있다는 점을 지적한다. 또한, Johnson이 제안한 “전체 사전예측을 이용한 검증”도 조건부 예측 프레임워크 안에 포함될 수 있음을 밝힌다. 데이터의 이중 사용 문제에 대해서는 저자들이 조건부 접근법을 통해 이미 이를 방지하고 있다고 반박한다. T와 U가 독립일 필요는 없으며, T 와 U 가 서로 다른 목적(예: U 는 파라미터를 “통합”하고 T 는 “검증”에 사용)으로 쓰이지만 동일 데이터를 두 번 사용하는 것이 아니라는 논리를 제시한다. 간단한 이산 예시를 들어 설명한다. 플러그인 검정과 사후예측 검정의 차이점도 상세히 논한다. 플러그인 검정은 파라미터 추정값을 고정하고 예측분포를 만든다. 이때 데이터 이중 사용과 추정 불확실성 무시라는 두 오류가 발생하지만, 두 오류가 상쇄돼 보수적이면서도 검정력이 높아지는 현상이 관찰된다(Robins et al., 2000). 반면 사후예측 검정은 파라미터 불확실성을 반영하지만, 데이터와 파라미터가 동시에 사용돼 과보수적인 p‑값이 나올 위험이 있다. 저자는 플러그인 검정이 계산적으로도 더 간단하고, 그래픽 검증이나 상대적 서프라이즈와 결합하면 충분히 유용하다고 주장한다. 계산적 어려움에 대해서는 조건부·부분 사후예측분포를 추정하는 것이 MCMC 기반 사후예측보다 복잡하지만, 실제로는 한 차원 밀도 추정 정도에 불과하므로 현대 컴퓨팅 환경에서 충분히 구현 가능하다고 설명한다. 다변량 T 에 대한 p‑값 정의가 모호함을 인정하고, 그래픽 방법이나 상대적 서프라이즈 지표를 활용할 것을 제안한다. 다중 비교와 그룹별 검정 문제도 다룬다. L&L이 제안한 그룹별 Tᵢ 검정은 조건부 예측분포 m(tᵢ | uᵢ) 를 사용해 데이터 이중 사용을 피하지만, 여러 Tᵢ 간 상관관계가 높아 p‑값 해석이 어려워진다. 저자는 이러한 상황에서 베이지안 모델 선택 프레임워크가 유일한 해결책이라고 강조한다. 마지막으로 오해에 대한 정정을 한다. 저자들은 p‑값을 “모델 거부 규칙”으로 사용하지 않으며, 단지 서프라이즈의 정량적 척도로 활용한다는 점을 명확히 한다. 또한, 그래픽 검증을 통한 비공식적 판단이 가능함을 강조한다. 전체적으로, 이 재논문은 베이지안 계층모형 검증에서 사전예측·조건부 예측의 역할을 재조명하고, 토론자들의 비판을 수용하면서도 자신의 프레임워크가 이론적 일관성과 실용적 효율성을 동시에 갖춘 방법임을 설득력 있게 제시한다.