K평균 초기화 방법 효율성 비교 연구

초록

본 논문은 K‑means 군집화의 성능을 좌우하는 초기 중심점 선택 방법을 집중적으로 조사한다. 선형 시간 복잡도를 갖는 8가지 대표 초기화 기법을 다양한 데이터셋에 적용해 실행 시간, 수렴 횟수, 클러스터 품질(Rand Index, SSE 등)을 비교하였다. 비모수 통계 검정을 통해 차이를 검증한 결과, 널리 사용되는 k‑means++와 Forgy 방식이 기대에 못 미치며, 특히 PCA‑based와 Density‑based 초기화가 전반적으로 우수함을 확인했다. 실무자는 데이터 특성에 맞는 경량 초기화 기법을 선택해 효율성을 높일 수 있다.

상세 분석

K‑means 알고리즘은 초기 중심점 선택에 따라 지역 최적점에 머무를 위험이 크다. 논문은 이 문제를 해결하기 위해 선형 시간 복잡도(O(nk))를 보장하는 8가지 초기화 방법을 선정했다. 구체적으로는 Random Partition, Forgy, k‑means++, Bradley‑Fayyad‑Reina (BFR), PCA‑based, Density‑based, Maximin, 그리고 Hierarchical‑seed가 포함된다. 각 방법은 중심점 후보를 생성하는 메커니즘이 다르다. 예를 들어 k‑means++는 거리 기반 확률 샘플링으로 초기 중심점 간 거리를 최대화하고, PCA‑based는 주성분 축을 따라 데이터 분산이 큰 방향으로 중심을 배치한다. Density‑based는 데이터 밀도가 높은 영역을 탐색해 대표점을 선택한다.

실험은 30개 이상의 공개 데이터셋(이미지, 텍스트, 바이오인포메틱스 등)과 5개의 합성 데이터셋을 사용했으며, 각 데이터셋에 대해 k값을 2~50 범위에서 변동시켜 다중 실험을 수행했다. 성능 평가는 (1) 실행 시간, (2) 반복 횟수, (3) 최종 SSE(제곱 오차 합), (4) 외부 군집 지표인 Adjusted Rand Index(ARI)와 Normalized Mutual Information(NMI)를 포함한다.

통계 분석은 Friedman 검정 후 Nemenyi 사후 검정을 적용해 방법 간 유의미한 차이를 검증했다. 결과는 k‑means++와 Forgy가 평균적으로 가장 빠른 실행 시간을 보였지만, 최종 SSE와 ARI에서는 뒤처졌다. 반면 PCA‑based와 Density‑based는 초기 비용이 다소 높지만, 수렴 속도가 빨라 전체 실행 시간이 비슷하거나 오히려 짧았으며, 군집 품질 지표에서는 유의미하게 높은 점수를 기록했다. 특히 고차원 데이터에서 PCA‑based가 차원 축소 효과로 인해 잡음에 강한 특성을 보였고, 비균형 데이터에서는 Density‑based가 소수 클래스의 중심을 잘 포착했다. Maximin과 Hierarchical‑seed는 특정 데이터에서 좋은 성능을 보였지만, 전반적으로 일관된 우수성을 보이지 못했다.

논문은 또한 초기화 방법 선택이 k값에 따라 달라질 수 있음을 강조한다. 작은 k에서는 Random Partition이 충분히 경쟁력을 가졌지만, k가 커질수록 거리 기반 또는 밀도 기반 방법이 더 큰 이점을 제공한다. 또한, 데이터 전처리(정규화, 차원 축소)의 유무가 초기화 성능에 미치는 영향을 실험적으로 확인했으며, 정규화된 데이터에서 모든 방법의 상대적 차이가 감소하는 경향을 보였다.

결론적으로, 연구진은 “가장 빠른 초기화가 반드시 최고의 군집 품질을 보장하지 않는다”는 점을 강조하고, 실무자는 데이터 특성(차원, 밀도, 클래스 불균형)을 고려해 PCA‑based 혹은 Density‑based 초기화를 우선 검토할 것을 권고한다. 또한, 비모수 통계 검정을 통한 결과 해석이 초기화 방법 비교에 필수적임을 제시한다.