갭 통계 로그와 비로그 정의의 비교 연구

**1. 연구 배경 및 목적** 클러스터링 분석에서 적절한 군집 수 k 를 결정하는 일은 모델의 해석 가능성과 예측 성능에 직접적인 영향을 미친다. 그 중 가장 널리 사용되는 방법이 Tibshirani 등(2001)이 제안한 갭 통계량이다. 이 방법은 군집 내 분산 Wₖ (또는 그 로그)를 무작위 표본(Null reference)에서 기대되는 값과 비교함으로써, 실제 데이터가 무작위 구조보다 얼마나 뚜렷한 군집을 형성하는지를 정량화한다. 기존 문헌에서는 log (Wₖ) 를 표준화하고, “gap(k) ≥ gap(k+1) – sₖ₊₁”이라는 불평등을 만족하는 최소 k 를 최적 군집 수로 채택한다. 그러나 로그 변환이 기대값과 변동성을 왜곡할 가능성이 있다는 지적이 있었으며, 실제 적용 사례에서 로그 기반 갭이 과소추정하거나 불안정한 결과를 보이는 경우가 보고되었다. **2. 이론적 고찰** 저자들은 먼저 Wₖ 그 자체를 사용한 갭 정의를 공식화한다. - gap₍log₎(k) = E₀