스펙트럴 클러스터링 라운딩을 위한 모델 기반 접근

초록

본 논문은 스펙트럴 클러스터링의 마지막 단계인 라운딩 문제를 해결하기 위해, 사용되는 고유벡터 수와 클러스터 수를 독립적으로 선택하고, 후속 고유벡터까지 활용하는 새로운 모델 기반 방법을 제안한다. 라운딩의 세 가지 하위 문제를 잠재 트리 모델이라는 그래픽 모델로 통합적으로 풀며, 이상적인 경우 정확히 동작하고 실제 데이터에서도 점진적으로 성능이 감소한다는 실험 결과를 제시한다.

상세 분석

스펙트럴 클러스터링은 데이터 간 유사성을 행렬로 표현하고, 라플라시안 행렬의 고유벡터를 이용해 저차원 임베딩을 만든 뒤, 이를 기반으로 클러스터를 형성한다. 전통적인 라운딩 단계에서는 “k개의 클러스터 = k개의 선도 고유벡터”라는 가정을 두고, k‑means와 같은 단순한 방법으로 임베딩을 군집화한다. 그러나 이러한 접근은 (1) 클러스터 수와 사용 고유벡터 수가 반드시 일치한다는 제한, (2) 고유벡터 선택에 있어 선도 고유벡터만을 고려한다는 정보 활용의 비효율성, (3) 라운딩의 세 가지 하위 문제(고유벡터 수 결정, 클러스터 수 추정, 실제 군집 할당)를 별도 절차로 처리한다는 구조적 비연속성을 내포한다는 점에서 한계를 가진다.

본 논문은 이러한 한계를 극복하기 위해 세 가지 핵심 아이디어를 도입한다. 첫째, 클러스터 수와 사용 고유벡터 수를 독립적으로 모델링한다. 이는 실제 데이터에서 클러스터가 고유벡터보다 많거나 적을 수 있는 상황을 자연스럽게 포괄한다. 둘째, 고유벡터 선택 단계에서 선도 고유벡터뿐 아니라 후속 고유벡터까지 정보를 활용한다. 구체적으로, 고유벡터들의 스펙트럼 구조와 고유값 간격을 정량화하여, “스펙트럼 갭”뿐 아니라 고유벡터 간 상관관계를 평가한다. 셋째, 라운딩의 세 하위 문제를 하나의 통합 그래픽 모델, 즉 잠재 트리 모델(Latent Tree Model, LTM)로 표현한다. LTM은 관측된 고유벡터 데이터를 잎 노드로 두고, 내부 노드에 클러스터 라벨과 고유벡터 선택 여부라는 잠재 변수를 배치한다. 이렇게 함으로써 베이지안 추론을 통해 최적의 고유벡터 수, 클러스터 수, 그리고 각 데이터 포인트의 클러스터 할당을 동시에 추정한다.

모델 학습은 EM 알고리즘 변형을 사용한다. E‑step에서는 현재 파라미터 하에 각 데이터 포인트가 각 잠재 클러스터에 속할 사후 확률을 계산하고, 고유벡터 선택 변수에 대한 기대값을 구한다. M‑step에서는 이 기대값을 이용해 트리 구조와 파라미터(전이 확률, 관측 분포)를 업데이트한다. 특히 트리 구조 탐색은 BIC 기준에 따라 후보 트리를 추가·삭제하며, 모델 복잡도와 적합도를 균형 있게 조절한다.

실험에서는 이상적인 경우(클러스터 간 유사도 0)와 실제 데이터(클러스터 간 유사도가 점진적으로 증가) 두 시나리오를 모두 고려한다. 이상적인 경우 제안 방법은 정확히 원래 클러스터 구성을 복원한다는 이론적 보장을 제공한다. 실제 데이터에서는 클러스터 간 유사도가 증가함에 따라 정확도는 서서히 감소하지만, 기존 k‑means 기반 라운딩 대비 더 높은 안정성과 정확도를 유지한다. 또한, 후속 고유벡터를 활용함으로써 스펙트럼 갭이 명확하지 않은 경우에도 적절한 고유벡터 수를 선택할 수 있음을 실증한다.

결과적으로, 이 논문은 스펙트럴 클러스터링 라운딩을 하나의 통합 확률 모델로 재구성함으로써, 기존 방법이 갖는 구조적 제약을 해소하고, 데이터의 스펙트럼 특성을 보다 풍부하게 활용한다는 점에서 의미 있는 기여를 한다. 또한, 잠재 트리 모델이라는 일반적인 그래픽 모델 프레임워크를 도입함으로써, 향후 다른 형태의 클러스터링이나 차원 축소 문제에도 확장 가능성을 제시한다.