히스토그램 없이 확률밀도 추정하기

초록

연속형 데이터의 확률밀도를 히스토그램 대신 경험적 누적분포함수(CDF)를 이용해 매끄럽게 추정한다. CDF를 푸리에 급수로 전개하고, 콜모고로프 검정으로 적절한 차수를 결정한다. 잭나이프 재표집으로 오류 범위를 제공하며, 코드와 예제가 포함돼 실용성을 강조한다.

상세 분석

본 논문은 연속형 변수에서 표본 데이터를 확률밀도 함수(p.d.f.)로 변환할 때 히스토그램이 갖는 근본적인 한계를 지적한다. 히스토그램은 빈(bin) 크기와 위치라는 자유 파라미터에 크게 의존하고, 특히 표본 수가 적을 경우 통계적 잡음이 과도하게 나타난다. 반면 경험적 누적분포함수(empirical CDF)는 데이터를 정렬한 뒤 각 표본점에서 누적 확률을 1/N씩 증가시키는 단계 함수이며, 파라미터가 전혀 없다는 장점이 있다. 그러나 단계 함수 자체는 미분이 불가능해 직접적인 p.d.f. 추정에 사용할 수 없다.

이를 해결하기 위해 저자는 CDF를 푸리에 급수(Fourier series)로 근사한다. 구체적으로, 정규화된 구간 (