층화 표본추출이 오히려 해를 끼칠 수 있는 이유와 그 규모

초록

층화 표본추출이 최적 배분을 사용하더라도 단순 무작위 표본보다 분산이 크게 증가할 수 있다는 현상을 60년 전부터 알려져 왔으며, 본 논문은 그 악화 정도에 대한 하한·상한을 제시하고 원인을 이론적으로 설명한다.

상세 분석

본 논문은 통계학에서 가장 널리 쓰이는 표본 설계 방법 중 하나인 층화 표본추출(stratified sampling)이 경우에 따라서는 단순 무작위 표본(simple random sampling)보다 효율이 떨어질 수 있음을 수학적으로 증명한다. 전통적으로 층화 표본은 각 층의 변동성을 고려해 최적 배분(optimal allocation, 흔히 Neyman 배분이라 불림)으로 표본 크기를 할당하면 전체 추정량의 분산이 최소화된다고 알려져 있다. 그러나 저자들은 “분산 악화 현상”이라 부르는 상황을 정의하고, 이는 각 층의 평균이 서로 크게 차이나지 않으면서도 층 내 변동성이 매우 큰 경우에 발생한다는 점을 강조한다.

논문은 먼저 전체 모집단을 K개의 층으로 나누고, 각 층 i의 크기를 N_i, 평균을 μ_i, 분산을 σ_i²라 두었다. 최적 배분 하에서의 표본 크기 n_i는 N_iσ_i에 비례한다. 이때 전체 추정량의 분산은 Σ (N_i²σ_i² / n_i) 로 표현되며, 이는 단순 무작위 표본의 분산 Σ (N_iσ_i² / n)와 비교된다. 저자들은 이 두 분산의 비율을 R이라 두고, R>1이면 층화가 오히려 해를 끼친다고 정의한다.

핵심적인 결과는 R의 하한과 상한을 각각 1+δ와 1+Δ 형태로 제시한다는 점이다. 여기서 δ와 Δ는 층 간 평균 차이(μ_i-μ_j)와 층 내 분산 비율(σ_i/σ_j)의 함수이며, 특히 평균 차이가 거의 없고 σ_i/σ_j가 극단적으로 클 때 δ와 Δ가 크게 증가한다는 것을 보인다. 논문은 이러한 상황을 “동질 평균·이질 분산”이라고 명명하고, 실제 데이터 예시(예: 인구 조사에서 연령대별 소득 변동)와 시뮬레이션을 통해 이론적 경계가 실제로도 타당함을 검증한다.

또한 저자는 이 현상의 직관적 설명으로, 층화가 각 층의 평균 차이를 이용해 분산을 감소시키는 메커니즘을 갖지만, 평균 차이가 미미하면 오히려 층 내 큰 변동성을 그대로 반영하게 되어 전체 분산이 증가한다는 점을 제시한다. 따라서 최적 배분이라 할지라도 사전 정보(특히 평균 차이)에 대한 정확한 사전 지식이 없으면 층화 설계가 위험할 수 있음을 경고한다.

이 논문은 통계 실무자들에게 층화 설계 적용 전 반드시 평균 차이와 분산 비율을 사전 검토하도록 촉구하며, 필요시 단순 무작위 표본이나 다른 복합 표본 설계(예: 다단계 표본)로 전환할 근거를 제공한다.