역심슨 역설: 데이터 분할로 결론 뒤집기

초록

본 논문은 기존의 심슨 역설과 달리, 하나의 전체 데이터 집합을 두 개의 상호 배타적 하위 집합으로 분할함으로써 원래의 통계적 결론을 각각 반대로 만들 수 있음을 보이고, 그 과정에서 필요한 조건과 통계적 유의성을 베이지안 방법으로 정량화한다.

상세 분석

논문은 먼저 전통적인 심슨 역설을 재정의하고, “역심슨 역설”이라는 새로운 개념을 제시한다. 여기서는 전체 데이터 (예: 두 약물 A와 B의 성공·실패 횟수) 를 임의의 두 하위 집합으로 나누어 각각의 하위 집합에서 원래 전체 데이터와 반대되는 결론을 도출한다는 점에 주목한다. 저자는 이 과정이 언제든지 가능하다고 주장하지만, 실제로 의미 있는 결론을 얻기 위해서는 각 하위 집합의 성공률 차이가 통계적으로 유의해야 한다는 점을 강조한다.

이를 위해 저자는 베이지안 프레임워크를 도입한다. 성공·실패를 베르누이 시행으로 모델링하고, 사전분포를 균등(Uniform)으로 가정한 뒤 사후분포를 베타(Beta) 함수 형태로 전개한다. 식 (3.9)‑(3.10)에서는 성공 확률 p가 ½ 이상일 확률을 베타 누적분포함수로 표현하고, 두 약물의 성공 확률 비교 P(p_A ≥ p_B) 를 정규근사와 중심극한정리를 이용해 φ(·) 함수(표준 정규분포의 누적밀도) 형태로 간단히 나타낸다. 이러한 접근은 대표본(large‑N) 상황에서 매우 정확한 근사치를 제공한다.

다음으로 저자는 하위 집합을 구성하는 비율 α, β (전체 A와 B 데이터를 각각 α·N_A, (1‑α)·N_A 등으로 나누는 비율)를 도입하고, 식 (5.4)‑(5.7)에서 이 비율이 만족해야 할 불평등을 유도한다. 특히 α ≥ β 일 때 P_A + P_B ≥ 1 인 경우와 ≤1 인 경우에 따라 C′ (각 하위 집합에서의 통계적 유의도) 의 상한을 제시한다. 이는 실제 데이터에서 “가장 강력하게 결론을 뒤집는” 분할을 찾는 최적화 문제와 연결된다.

논문은 베이즈 추정과 정규근사를 결합해, 전체 데이터가 보여주는 차이(C_AB) 를 하위 집합 각각의 차이(C′_i) 로 재분배하는 방법론을 제시한다. 이때 C′_i 가 양수이면 각 하위 집합에서 원래 결론이 반전된다. 저자는 이러한 절차가 법적 소송이나 정책 논쟁에서 데이터 조작의 위험성을 보여주는 사례로 활용될 수 있음을 강조한다.

마지막으로 실제 사례로 베르클리 대학 입학 데이터와 병원 치료 성공률 데이터를 분석한다. 베르클리 사례에서는 전체적으로는 남성에게 유리해 보였지만, 학과별로는 차이가 없으며, 적절히 α, β 를 선택하면 차이를 없애거나 반전시킬 수 있음을 보여준다. 병원 사례에서는 전체적으로 A 병원이 우수해 보였지만, 환자 상태(좋은 형태 vs 나쁜 형태) 별로 나누면 B 병원이 더 나은 결과를 보인다. 이는 역심슨 역설이 실제 데이터 해석에 얼마나 큰 영향을 미칠 수 있는지를 실증한다.

전체적으로 논문은 “데이터를 어떻게 나누느냐에 따라 통계적 결론이 완전히 달라질 수 있다”는 중요한 교훈을 제시하고, 이를 정량적으로 평가할 수 있는 베이지안·정규근사 기반 프레임워크를 제공한다.