초기값이 k평균 안정성에 미치는 영향

초록

본 논문은 실제 k‑means 알고리즘이 로컬 최적점에 머무르는 특성을 고려하여, 초기화 방법이 클러스터링 결과의 안정성에 미치는 영향을 이론적으로 분석한다. 초기값이 동일한 로컬 최적점으로 수렴하는 경우와 서로 다른 최적점으로 수렴하는 경우를 구분하고, 이러한 구분을 바탕으로 안정성 점수를 이용한 군집 수 선택이 정당함을 증명한다.

상세 분석

k‑means 알고리즘은 초기 중심점 선택에 따라 서로 다른 로컬 최소값에 수렴할 수 있다. 저자들은 이 현상을 “안정성(stability)”이라는 개념으로 정량화한다. 먼저, 동일한 데이터셋에 대해 서로 독립적인 초기화 두 번을 수행했을 때 얻어지는 최종 클러스터링이 동일하면 해당 초기화는 “안정적”이라고 정의한다. 논문은 기존 연구가 비용 함수값만을 비교하고 실제 클러스터링 구조를 무시한 점을 지적하고, 실제 라벨(클러스터 할당) 수준에서 안정성을 평가한다.

이론적 분석은 두 단계로 전개된다. 첫 번째 단계에서는 데이터가 충분히 구분(separation)되어 있고, 각 클러스터의 크기가 충분히 큰 경우, 임의의 초기 중심점이 어느 정도의 “볼륨” 안에 들어오면 Lloyd’s algorithm이 동일한 로컬 최적점으로 수렴한다는 확률적 경계식을 제시한다. 여기서 핵심은 중심점이 각 진짜 클러스터의 평균에 가까운 영역에 위치하면, 반복 과정 중 중심점이 크게 이동하지 않아 동일한 할당이 유지된다는 점이다. 두 번째 단계에서는 초기화가 이러한 “안전 영역”을 벗어나는 경우, 알고리즘이 다른 로컬 최적점에 빠질 확률을 분석한다. 특히, k‑means++와 같은 거리 기반 초기화가 무작위 초기화보다 안전 영역에 들어갈 확률을 크게 높인다는 정량적 결과를 도출한다.

안정성 점수는 여러 번의 무작위 초기화를 수행하고, 얻어진 클러스터링 간의 일치도를 (예: 조정 랜덤 지수) 평균하여 계산한다. 논문은 이 점수가 클러스터 수 k에 대해 비단조적이지 않으며, 실제 데이터에 대해 “최적” k가 안정성 점수가 급격히 감소하기 전의 가장 큰 k라고 주장한다. 이를 뒷받침하기 위해, 저자들은 가우시안 혼합 모델과 실제 이미지 데이터셋에 대해 실험을 수행했으며, 초기화 방법에 따라 안정성 곡선이 크게 달라짐을 보여준다.

핵심 통찰은 다음과 같다. (1) 초기화가 로컬 최적점의 다양성을 결정하는 주된 요인이다. (2) 데이터가 충분히 구분되어 있으면, 대부분의 초기화가 동일한 최적점으로 수렴하므로 안정성이 높아진다. (3) k‑means++와 같은 스마트 초기화는 안전 영역 진입 확률을 높여 안정성을 향상시키지만, 완벽히 보장하지는 않는다. (4) 안정성 점수를 이용한 군집 수 선택은 비용 기반 방법보다 더 신뢰할 수 있으며, 특히 고차원·고노이즈 데이터에서 유용하다.