공변량 보정 잔차와 공분산 분석의 성능 비교

초록

본 연구는 처리군 간 차이를 검정할 때 공변량의 영향을 제거하는 두 가지 접근법, 즉 공변량 보정 잔차에 대한 ANOVA·K‑W 검정과 전통적인 ANCOVA를 비교한다. 전체 데이터에 대한 단일 회귀선을 이용해 얻은 잔차를 사용한 방법은 회귀선이 평행하고 처리군 평균이 동일할 때만 타당함을 보였으며, 다양한 정규성·분산동질성·표본크기·공변량 군집 조건을 Monte Carlo 시뮬레이션으로 평가하였다. 시뮬레이션 결과는 ANCOVA가 전반적으로 더 견고하지만, 특정 상황(예: 회귀선 평행·분산동질·큰 표본)에서는 잔차 기반 검정이 경쟁력을 가진다는 점을 제시한다.

상세 분석

이 논문은 공변량을 포함한 실험 설계에서 처리 효과를 검정하는 방법론적 선택을 체계적으로 검토한다. 먼저, 전체 데이터를 하나의 선형 회귀모형에 적합시켜 얻은 공변량 보정 잔차를 이용해 ANOVA와 Kruskal‑Wallis(K‑W) 검정을 수행하는 절차를 제시한다. 이때 잔차는 처리군 간 차이를 직접 반영하도록 설계되었지만, 회귀선이 각 처리군마다 기울기가 다르면 잔차에 남는 공변량 효과가 왜곡되어 검정의 유효성이 손상된다. 따라서 저자들은 “평행 회귀선(parallel slopes)” 가정과 “처리군 평균 동등(equivalent means)” 가정이 동시에 만족될 때만 잔차 기반 검정이 정확한 수준을 유지한다는 이론적 근거를 제시한다.

다음으로, 전통적인 ANCOVA는 각 처리군에 별도의 회귀기울을 허용하거나 동일 기울기를 가정하는 두 가지 형태를 포함한다. ANCOVA는 공변량과 처리 효과를 동시에 추정함으로써 회귀선 기울기 차이에 대한 민감도를 낮추고, 공변량과 처리 효과가 독립적이라는 가정 하에 보다 강건한 추론을 가능하게 한다.

시뮬레이션 설계는 네 가지 주요 요인을 교차시켜 2 × 2 × 2 × 2 = 16개의 시나리오를 만든다. (1) 정규성 가정 여부(정규 vs. 비정규), (2) 오차 분산 동질성 여부(HOV vs. HOV 위반), (3) 표본 크기(작은 vs. 큰), (4) 공변량 값의 군집(clustering vs. 균등 분포). 각 시나리오마다 10 000번의 반복을 수행해 실험적 크기(empirical size)와 검정력(power)을 추정하였다.

결과는 다음과 같다. 첫째, 잔차 기반 ANOVA와 K‑W 검정은 회귀선이 평행하고 분산이 동질적이며 표본이 충분히 클 때 수준이 유지되고 검정력이 ANCOVA와 근접한다. 그러나 기울기 차이가 존재하거나 분산이 이질적이면, 특히 비정규 오차가 결합될 경우 두 검정 모두 과도한 제1종 오류를 보이며 검정력이 급격히 감소한다. 둘째, ANCOVA는 기울기 차이가 있더라도 적절히 모델링하면 수준을 유지하고, 비정규성 및 이분산 상황에서도 부트스트랩 또는 견고한 표준오차를 적용하면 비교적 안정적인 검정력을 제공한다. 셋째, K‑W 검정은 비정규성에 대해 어느 정도 내성을 보이지만, 공변량이 군집화되어 처리군 간 공변량 분포가 크게 달라질 경우 잔차의 순위 변환이 왜곡되어 검정력이 크게 저하된다.

이러한 결과를 토대로 저자들은 실무적 가이드라인을 제시한다. 공변량과 처리 효과가 선형이며 회귀기울이 동일하다고 확신할 수 있는 경우, 특히 표본이 크고 분산이 동질적일 때는 잔차 기반 ANOVA가 계산적으로 간단하고 충분히 타당하다. 반면, 회귀기울 차이 가능성, 비정규 오차, 이분산, 혹은 공변량이 군집화된 상황에서는 ANCOVA(또는 그 변형)를 우선 선택하고, 필요시 비모수적 부트스트랩을 병행할 것을 권고한다.