중첩 커뮤니티 탐지를 위한 정규화 상호정보 측정법의 문제점과 개선

초록

본 논문은 겹치는 커뮤니티(오버래핑 클러스터) 탐지 알고리즘의 성능을 평가하기 위해 널리 사용되는 정규화 상호정보(NMI) 지표가 직관에 어긋나는 결과를 보이는 사례를 제시한다. 기존 NMI의 정규화 방식을 보다 전통적인 방식으로 교체함으로써 0~1 구간에서 의미 있는 값을 반환하도록 개선하고, 이를 Omega Index 등 다른 평가 지표와 비교한다.

상세 분석

논문은 먼저 겹치는 커뮤니티 탐지 문제의 배경을 설명한다. 전통적인 비겹치는 클러스터링에서는 NMI가 두 파티션 사이의 정보량 차이를 정규화하여 0(완전 불일치)에서 1(완전 일치) 사이의 값으로 나타내는 것이 일반적이다. 그러나 겹치는 클러스터링에서는 각 노드가 여러 클러스터에 동시에 속할 수 있기 때문에, 기존 NMI 정의를 그대로 적용하면 “클러스터 수가 늘어날수록 NMI 값이 인위적으로 상승한다”는 비직관적 현상이 발생한다. 구체적으로, 논문은 두 집합 A와 B가 전혀 관련이 없음에도 불구하고, A에 포함된 클러스터 수가 많아질수록 NMI가 0이 아닌 양수 값을 갖는 사례를 실험적으로 보여준다. 이는 정규화 과정에서 사용된 최대 엔트로피(max{H(A), H(B)})가 겹침 정도를 충분히 반영하지 못하기 때문이다.

이를 해결하기 위해 저자는 정규화 방식을 H(A)+H(B)−I(A;B) 형태의 “합성 엔트로피”로 교체한다. 즉, NMI_new = I(A;B) /