혼합형 데이터 클러스터링을 위한 결정적 정보 병목 방법

초록

본 논문은 연속형·명목형·순서형 변수를 동시에 다루는 혼합형 데이터에 대해, 일반화된 곱 커널을 이용해 확률 밀도를 추정하고, 결정적 정보 병목(DIB) 프레임워크를 확장한 DIBmix 알고리즘을 제안한다. 변수 유형별 기여도를 균등하게 맞추는 대역폭 선택 전략과, 불균형 클러스터 수를 보장하는 β 파라미터 자동 조정 방식을 도입하였다. 28,800개의 합성 데이터와 10개의 공개 벤치마크에서 KAMILA, K‑Prototypes, FAMD‑KMeans, PAM‑Gower 등 기존 방법보다 우수한 군집 품질을 입증하였다, 특히 클러스터 크기 불균형·중간 정도 겹침·연속·범주형 변수 비율이 비슷할 때 강점이 두드러졌다.

상세 분석

본 연구는 정보 병목(Information Bottleneck, IB) 이론을 클러스터링에 적용한 결정적 변형인 DIB를 혼합형 데이터에 맞게 일반화한 점이 가장 큰 혁신이다. 연속형, 명목형, 순서형 변수 각각에 대해 적절한 커널(Kc, Ku, Ko)을 정의하고, 이들을 곱해 전체 데이터의 공동 밀도 (\hat f(x^*)) 를 추정한다. 여기서 핵심은 변수 간 독립성을 가정하지 않고, 커널 곱이 각 변수의 스무딩 효과를 조합한다는 점이다. 대역폭 (s,\lambda,\nu) 는 변수 유형별 스케일 차이를 보정하도록 설계되었으며, 논문 4.1절에서 제시된 “기여도 균등화” 전략은 각 변수의 평균 커널 폭을 전체 평균에 맞추는 방식으로, 연속형과 범주형이 동일한 영향력을 갖도록 한다.

클러스터 할당 확률 (q(t|x)) 는 변분 최적화 결과로 얻어지는 손실 함수
(L(t,x)=\log q(t)-\beta D_{KL}(p(y|x)|q(y|t))) 를 최소화하는 형태이며, 여기서 (\beta)는 압축 정도를 조절한다. 논문은 (\beta)를 “클러스터 소멸 방지”를 위해 자동 업데이트하는 알고리즘을 제안했는데, 이는 현재 클러스터 엔트로피 (H(T))와 목표 클러스터 수 (C) 사이의 차이를 기반으로 (\beta)를 점진적으로 증가시켜 과도한 압축을 방지한다.

계산 효율성 측면에서, 전체 커널 행렬 (P)를 직접 계산한 뒤 열별 정규화를 통해 확률 행렬 (P’)를 만든다. 이 과정은 O(n²) 복잡도를 가지지만, 행렬 연산을 벡터화하고 대역폭 파라미터를 사전 계산함으로써 실험에서는 수천 개 샘플까지도 실시간에 가깝게 처리할 수 있었다. 또한, 초기 클러스터 할당을 여러 번 무작위로 시도하고, 최종 선택은 최대 상호 정보 (I(Y;T)) 를 기준으로 함으로써 지역 최적에 빠지는 위험을 감소시켰다.

성능 평가에서는 28,800개의 합성 데이터셋을 4가지 시나리오(클러스터 크기 불균형, 중간 겹침, 연속·범주 비율 균등·불균등)로 구성하고, Adjusted Rand Index(ARI)와 Normalized Mutual Information(NMI) 기준으로 기존 4가지 방법과 비교하였다. DIBmix은 특히 클러스터 크기 비율이 1:5 이상으로 불균형하거나, 연속·범주형 변수가 1:1 비율로 섞여 있을 때 ARI·NMI에서 평균 12%~18% 향상을 보였다. 실제 공개 데이터(예: Adult, Credit, Mushroom 등)에서도 KAMILA와 비슷하거나 더 높은 점수를 기록했으며, 특히 PAM‑Gower 대비 20% 이상 개선된 결과를 얻었다.

이 논문은 이론적 기반이 확고하면서도 실용적인 하이퍼파라미터 선택 가이드를 제공한다는 점에서, 혼합형 데이터 클러스터링 분야에 중요한 기여를 한다. 다만, O(n²) 복잡도는 매우 대규모 데이터(수십만 이상)에서는 제한이 될 수 있으며, 향후 근사 커널 방법이나 샘플링 기반 가속화가 필요하다. 또한, 현재는 정형 데이터에만 초점을 맞추었으므로, 텍스트나 이미지와 같은 비정형 데이터에 대한 확장 가능성도 탐색할 여지가 있다.