클러스터링을 위한 정보 이론 기반 모델 검증

초록

이 논문은 클러스터링 모델 선택을 정보 이론적 관점에서 접근한다. 측정 불확실성이 데이터 분할 집합을 양자화하고, 이에 따라 클러스터링 해 공간에 불확실성이 전파된다. 측정 변동성을 더 잘 견디는 모델을, 동일한 정보량을 제공한다면 우수한 모델로 간주한다. 정보량과 견고성 사이의 균형을 모델 선택 기준으로 삼으며, 두 개의 동등히 확률적인 데이터 집합에 대해 동일한 분할이 일반화될 것을 요구하는 ‘구조 유도 정보’를 새롭게 정의한다.

상세 분석

본 연구는 클러스터링 모델 선택 문제를 전통적인 거리 기반 혹은 확률 모델 기반 접근법이 아닌, 정보 이론적 프레임워크로 재구성한다. 핵심 아이디어는 측정 노이즈가 존재할 때, 실제 관측값은 연속적인 값이 아니라 유한한 정밀도로 양자화된 값이라는 점이다. 이 양자화 과정은 가능한 데이터 분할(파티셔닝)들의 집합을 유한한 ‘코드북’으로 변환시키며, 각 파티셔닝은 특정 비트 수로 표현될 수 있다. 따라서 측정 불확실성은 파티셔닝 공간에 직접적인 엔트로피(불확실성)를 부여한다.

논문은 두 가지 주요 속성을 정의한다. 첫째, 정보량(informativeness) 은 선택된 클러스터링이 데이터의 구조를 얼마나 잘 포착하는가를 정량화한다. 이는 파티셔닝이 데이터 전체 엔트로피를 얼마나 감소시키는가, 혹은 클러스터 내 변동성을 얼마나 줄이는가와 연관된다. 둘째, 견고성(robustness) 은 동일한 클러스터링 모델이 측정 노이즈가 증가했을 때도 동일하거나 유사한 파티셔닝을 유지할 수 있는 능력을 의미한다. 견고성은 노이즈 수준에 대한 모델의 ‘허용 범위’를 측정하는데, 이는 파티셔닝 공간의 양자화 폭이 넓어질수록(즉, 더 많은 파티셔닝이 동일하게 보일수록) 증가한다.

두 속성 사이의 트레이드오프는 정보량 대비 견고성이라는 새로운 모델 선택 기준으로 정형화된다. 즉, 동일한 정보량을 제공하는 여러 모델 중에서는 더 넓은 노이즈 허용 범위를 갖는 모델을 선호한다. 이는 전통적인 최소 설명 길이(MDL) 원칙과 유사하지만, 여기서는 ‘설명 길이’ 대신 ‘파티셔닝 양자화 수준’과 ‘정보 감소량’이라는 두 개의 명시적 지표를 사용한다.

또한, 저자들은 구조 유도 정보(structure induced information) 라는 개념을 도입한다. 이는 두 개의 독립적인 데이터 샘플이 동일한 확률 분포를 가정할 때, 한 샘플에서 얻은 파티셔닝이 다른 샘플에서도 동일하게 적용될 확률을 의미한다. 수학적으로는 두 파티셔닝 사이의 교차 엔트로피를 최소화하는 문제로 표현되며, 이는 모델이 실제 데이터 생성 메커니즘을 얼마나 잘 일반화하는지를 평가한다.

방법론적으로는 먼저 측정 노이즈를 가우시안 혹은 이산형 잡음으로 모델링하고, 이를 기반으로 파티셔닝 공간을 양자화한다. 그 다음, 각 후보 클러스터링 모델에 대해 정보량(예: 클러스터 내 평균 제곱 오차 감소)과 견고성(예: 노이즈 수준 변화에 따른 파티셔닝 변동도) 두 지표를 계산한다. 최종 선택은 두 지표를 가중합하거나 파레토 최적화 기법을 적용해 이루어진다. 실험에서는 합성 데이터와 실제 이미지/텍스트 데이터셋에 대해 기존의 실루엣 점수, BIC, Gap Statistic 등과 비교했을 때, 제안된 정보-견고성 기준이 노이즈가 심한 상황에서도 더 안정적인 클러스터 수와 파티셔닝을 제공함을 보여준다.

이러한 접근은 클러스터링이 본질적으로 ‘불확실성 하에서 구조를 발견하는’ 문제임을 명시적으로 반영한다는 점에서 학문적·실용적 의미가 크다. 특히, 데이터 수집 비용이 높거나 센서 노이즈가 큰 분야(예: 의료 영상, 원격 탐사)에서 모델 선택의 신뢰성을 크게 향상시킬 수 있다.