설문 가중치와 회귀 모델링의 난관: 통합 접근법 모색

Andrew Gelman은 설문 조사에서 가중치가 “혼란스러운 mess”라는 서두를 내세우며, 자신이 겪은 세 가지 구체적 사례를 제시한다. 첫째, 여론 조사에서 “가중치는 반드시 사용되어야 한다”는 지시가 있었지만, 가중치를 적용한 회귀 모델이 어떻게 해석되어야 하는지에 대한 명확한 지침이 없었다. 둘째, 뉴욕시 사회지표 조사(SIS)에서 가중치를 구성할 때 변수 선택과 평활화(smoothing) 과정에서 다수의 임의적 선택이 필요했으며, 일반적인 가이드라인이 부재했다. 셋째, 주별 여론을 국가 여론 조사에서 추정하려 할 때, 표본이 단순 무작위가 아니라 비응답이 연령·성별·인종 등에 따라 차등 발생했으며, 이 차이를 보정하기 위한 가중치가 설계 단계에서 제공되지 않았다. 이러한 경험을 바탕으로 Gelman은 설계 단계에서 발생하는 **불균형 포함 확률**(stratification, clustering, nonresponse)과 사후층화(post‑stratification) 가중치가 실제 조사에서 어떻게 혼합되는지를 설명한다. 표 1을 통해 가구 규모별 역선택확률 가중치와 사후층화 가중치가 크게 차이 나는 사례를 제시한다. 역선택확률 가중치는 가구 규모에 비례하지만, 실제 조사에서는 큰 가구가 응답률이 높아 사후층화 가중치가 이를 보정한다. 이는 설계‑기반 이론이 가정하는 “알려진 역선택확률”이 현실과 괴리될 수 있음을 보여준다. 논문은 두 가지 실용적인 분석 접근법을 제시한다. 첫 번째는 **가중치 기반** 방법으로, 설계 단계에서 얻은 가중치(역선택확률 가중치와 사후층화 가중치)를 사용해 가중 평균, 가중 회귀 등을 수행한다. 이때 표준 오차는 jackknife, bootstrap 등 설계‑특성을 반영한 재표본화 방법으로 추정한다. 두 번째는 **모델 기반** 방법으로, 포함 확률을 예측 변수로 포함한 다층 회귀 모델을 구축하고, 인구 전체에 대한 사후분포를 통해 평균을 추정한다. 이 접근법은 작은 영역 추정(small‑area estimation)에서 특히 유용하지만, 변수 선택·상호작용·빈 셀 처리 등 모델링 복잡도가 높다. Gelman은 설계‑기반과 모델‑기반을 이분법적으로 구분하는 것이 부적절하다고 주장한다. 두 접근법 모두 설계 정보를 활용하므로 근본적으로는 설계‑기반이라고 볼 수 있다. 순수 모델‑기반은 설계 정보가 전혀 없는 경우에만 적용 가능하나, 실제 조사에서는 설계 정보를 무시할 수 없다는 점을 강조한다. 통합 접근법을 모색하면서 그는 **등가 가중치(equivalent weights)** 개념을 제안한다. 계층적 모델을 통해 각 셀(예: 인구통계학적 교차분류)의 사후 평균을 계산하고, 이를 전체 인구 평균에 적용할 수 있는 가중치 형태로 변환한다. 이렇게 도출된 가중치는 기존 설계‑기반 가중치와 비교·보정할 수 있어, 가중치와 모델링의 장점을 동시에 활용한다. 그러나 등가 가중치가 음수로 나타날 경우 모델 자체가 부적합함을 의미하며, 이러한 경우 가중치를 0으로 강제하거나 모델을 재구성해야 한다. 논문은 또한 **빈 셀 문제**와 **비응답이 무작위가 아닌 경우(MNAR)**에 대한 한계를 짚는다. 빈 셀은 가중치 기반에서는 평균을 계산할 수 없고, 모델 기반에서는 사전분포를 통해 추정해야 한다. MNAR 상황에서는 포함 확률을 완전히 설명할 수 없으므로, 기존 두 방법 모두 편향 위험이 있다. Gelman은 비응답을 설명 변수에 포함시키는 것이 현실에 가까운 접근이라고 보면서, 더 많은 변수를 가중치에 포함시키면 MNAR 가정에 근접할 수 있다고 제안한다. 마지막으로, 설계‑기반과 모델‑기반을 넘어 **통합 평가 기준**을 제시한다. Lohr의 내부 일관성(internal consistency)과 보정(calibration) 원칙을 바탕으로, 가중치와 모델링이 각각 얼마나 인구 구조를 반영하는지, 추정 정확도와 변동성을 어떻게 최소화하는지를 평가한다. 이를 통해 작은 영역 추정, 시계열 비교, 인구 변동이 큰 상황에서도 일관된 추정이 가능하도록 하는 것이 궁극적 목표임을 밝힌다. 요약하면, Gelman은 설문 가중치와 회귀 모델링이 각각 독립적인 해법이 아니라 상호 보완적인 도구임을 강조한다. 현재는 두 방법을 상황에 맞게 선택·조합하는 것이 최선이며, 향후 연구는 등가 가중치의 안정성, 빈 셀 처리, MNAR 상황에 대한 베이지안 확장 등을 통해 진정한 통합 프레임워크를 구축하는 데 초점을 맞춰야 한다.