분포 적합성 평가와 통계 검정

초록

본 논문은 두 개의 실험 데이터 집합에 대해 Pearson‑Fisher, Kolmogorov‑Smirnov, Anderson‑Darling, Wilks‑Shapiro, Cramer‑von‑Mises 및 Jarque‑Bera 등 여섯 가지 적합도 검정을 적용하였다. 첫 번째 집합(205개 화학 활성 화합물)에서는 Grubbs 검정을 통해 하나의 이상치를 식별하고 제거한 뒤 정규성을 인정받았다. 두 번째 집합은 이상치가 없으며 모두 비정규분포로 판정되었다. Kolmogorov‑Smirnov 검정은 이상치에 대한 민감도가 낮아 변동률이 2 % 미만으로 유지되었으며, 이상치는 KS 검정에서 제2종 오류를, Anderson‑Darling 검정에서는 제1종 오류를 유발한다는 결론을 도출하였다.

상세 분석

본 연구는 통계적 분포 적합성 검정 방법들의 특성을 비교·평가함으로써 실무 데이터 분석 시 적절한 검정 선택에 대한 실질적 지침을 제공한다. 우선 Pearson‑Fisher(카이제곱) 검정은 구간별 기대 빈도와 관측 빈도의 차이를 기반으로 하여 표본 크기가 충분히 크고 구간 설정이 적절할 때 유효하지만, 빈도 분포가 불균형하거나 표본이 작을 경우 검정력 저하가 우려된다. Kolmogorov‑Smirnov(KS) 검정은 누적분포함수(CDF) 전체에 걸친 최대 절대 차이를 이용하므로 비모수적 특성을 지니며, 특히 이상치가 존재해도 전체 형태에 미치는 영향이 제한적이다. 본 논문에서 KS 검정의 변동률이 2 % 미만이라는 결과는 이 점을 실증적으로 확인한다. 반면 Anderson‑Darling(AD) 검정은 누적분포의 꼬리 부분에 가중치를 부여해 민감도를 높이므로, 이상치가 꼬리 영역에 위치할 경우 제1종 오류(귀무가설을 잘못 기각) 위험이 커진다. Wilks‑Shapiro(WS) 검정은 정규성 검정에 특화된 방법으로, 표본 평균과 분산을 이용해 정규성을 평가한다. Cramer‑von‑Mises(CvM) 검정은 KS와 유사하게 전체 CDF 차이를 제곱 평균으로 측정하지만, 가중치가 균등하게 적용돼 꼬리 민감도가 낮다. 마지막으로 Jarque‑Bera(JB) 검정은 왜도와 첨도를 이용해 정규성을 검정하는데, 큰 표본에서는 강력하지만 작은 표본에서는 과도한 제2종 오류를 발생시킬 수 있다.

두 데이터 집합에 대한 적용 결과를 살펴보면, 첫 번째 집합은 초기에는 비정규성을 보였으나 Grubbs 검정을 통해 식별된 하나의 이상치를 제거함으로써 KS, AD, WS, CvM, JB 모두 정규성을 받아들였다. 이는 이상치가 정규성 검정에 미치는 영향이 검정마다 다르지만, 적절한 이상치 탐지·제거가 전체 검정 결과를 크게 개선함을 시사한다. 두 번째 집합은 이상치가 없고, 모든 검정에서 비정규성을 유지했으며, 특히 AD와 JB가 가장 강력하게 귀무가설을 기각했다. 이는 데이터가 정규분포보다 꼬리 혹은 비대칭성을 가지고 있음을 의미한다.

통계적 오류 관점에서, 논문은 KS 검정이 이상치에 의해 제2종 오류(귀무가설을 놓치는 오류)를 유발한다는 점을 강조한다. 즉, 실제로 정규성을 만족하지만 이상치가 존재하면 KS 검정이 정규성을 거부할 가능성이 있다. 반대로 AD 검정은 이상치가 존재할 경우 제1종 오류(정규성을 잘못 받아들이는 오류)를 증가시킨다. 이러한 상반된 특성은 실무에서 검정 선택 시 데이터의 특성(이상치 존재 여부, 꼬리 형태 등)을 고려해야 함을 의미한다.

결론적으로, 본 논문은 다양한 적합도 검정이 서로 보완적인 역할을 수행한다는 점을 입증한다. KS는 전반적인 형태 비교에 강점이 있어 이상치에 강인하지만, 꼬리 민감도가 낮아 세밀한 비대칭성을 놓칠 수 있다. AD는 꼬리 민감도가 높아 비대칭성 탐지에 유리하지만 이상치에 취약하다. WS와 JB는 정규성 전용 검정으로, 표본 크기에 따라 검정력이 크게 변동한다. 따라서 데이터 분석자는 검정 목적, 표본 특성, 이상치 존재 여부 등을 종합적으로 판단해 다중 검정을 병행하거나 단계별 검정(이상치 탐지 → 정규성 검정) 전략을 채택하는 것이 바람직하다.