축소 카이제곱 사용 시 반드시 피해야 할 함정

초록

이 논문은 천문학에서 널리 쓰이는 축소 카이제곱(χ²ν)의 두 가지 근본적인 문제점을 지적한다. 첫째, 자유도는 선형 모델에만 정확히 정의될 수 있어 비선형 모델에서는 χ²ν를 계산할 근거가 없으며, 둘째, 데이터에 내재된 잡음 때문에 χ²ν 자체가 통계적 변동을 갖는다. 특히 표본이 작을 때 이 변동이 크게 나타나 모델 선택이나 수렴 판단에 신뢰성을 크게 떨어뜨린다. 저자들은 비선형 모델에 χ²ν를 사용하지 말고, 베이지안 증거, 교차 검증, 정보 기준(AIC/BIC) 등 보다 견고한 방법을 사용할 것을 권고한다.

상세 분석

논문은 먼저 χ²ν = χ² / ν (여기서 ν는 자유도)의 정의와 전통적인 사용 사례—모델 적합도 평가, 서로 다른 모델 간 비교, 최소화 알고리즘의 수렴 진단, 그리고 관측 오차 추정—를 정리한다. 이어 자유도 ν의 계산이 실제로는 모델이 선형일 때만 정확히 수행될 수 있음을 강조한다. 선형 모델에서는 설계 행렬의 랭크를 통해 독립 파라미터 수를 구하고, 데이터 포인트 수에서 이를 빼면 ν를 얻는다. 그러나 비선형 모델에서는 파라미터가 데이터에 비선형적으로 결합되므로, 설계 행렬이 정의되지 않으며, 파라미터가 실제로 차지하는 자유도는 모델 복잡도와 데이터 분포에 따라 변한다. 따라서 ν를 고정값으로 가정하는 관행은 근본적인 오류를 내포한다.

두 번째 문제는 χ² 자체가 확률 변수라는 점이다. 관측값 x_i는 진짜 값 μ_i와 잡음 ε_i (평균 0, 분산 σ_i²)로 이루어지며, χ² = Σ