얕은 트리를 이용한 군집화

초록

본 논문은 깊이가 제한된 트리 구조 위에서 비용 함수를 최적화함으로써 계층적 군집화를 수행하는 새로운 방법을 제안한다. 메시지 전달 알고리즘을 도입해 효율적으로 해를 구하고, 이 방법이 단일 연결(single linkage)과 최근 각광받는 어피니티 전파(Affinity Propagation) 사이를 자연스럽게 연결한다는 점을 보인다. 인간 유전체, 단백질 서열, 구두 사망진단 데이터 등 세 가지 생물·의료 데이터셋에 적용해 기존 방법보다 더 풍부한 해석을 제공한다.

상세 분석

이 논문은 계층적 군집화 문제를 “제한된 깊이의 트리” 위에서 비용 함수를 최소화하는 최적화 문제로 재정의한다. 트리 깊이를 d라 두고, 각 데이터 포인트를 트리의 노드에 연결시키는 방식으로 군집을 형성한다. 비용 함수는 두 요소로 구성된다. 첫째, 데이터 간 거리(또는 유사도)를 기반으로 한 연결 비용이며, 둘째, 트리 구조 자체에 부과되는 제약(깊이 제한)이다. 깊이 제한은 트리가 과도하게 깊어지는 것을 방지해 계산 복잡도를 낮추고, 동시에 군집의 규모와 형태를 조절한다.

알고리즘적 핵심은 메시지 전달(message‑passing) 기법이다. 각 노드는 이웃 노드와 “전달”과 “수신” 메시지를 교환하면서 최적의 부모 노드(또는 루트)를 결정한다. 이는 베이지안 네트워크에서 사용되는 변분 추정과 유사하지만, 여기서는 트리 깊이 제약을 고려한 특수한 업데이트 규칙을 도입한다. 메시지는 두 종류가 있다. 하나는 “부모 후보 비용”을 전달하고, 다른 하나는 “자식 후보 비용”을 전달한다. 반복적인 업데이트 과정을 통해 전역 최적해에 수렴한다. 시간 복잡도는 O(N·d·k) 수준으로, N은 데이터 포인트 수, d는 트리 깊이, k는 평균 연결 차수를 의미한다. 깊이 d가 작을수록 연산량이 크게 감소하므로 대규모 데이터에도 적용 가능하다.

이 방법은 기존 두 대표적 군집화 기법과의 관계를 명확히 보여준다. d=1일 때는 모든 노드가 루트에 직접 연결되므로, 비용 함수는 단순히 두 데이터 간 거리의 최소값을 선택하는 “단일 연결(single linkage)”과 동일해진다. 반대로 d→∞(또는 충분히 큰 d)일 경우, 트리 구조는 사실상 완전 연결 그래프와 유사해지며, 각 노드가 자신이 가장 선호하는 대표(예: ‘exemplar’)를 선택하는 “어피니티 전파(Affinity Propagation)”와 동일한 최적화를 수행한다. 따라서 제안된 프레임워크는 두 방법 사이를 연속적으로 탐색할 수 있는 매개변수 d를 제공한다.

실험에서는 세 가지 실제 데이터셋에 대해 다양한 깊이 d를 적용하였다. 첫 번째는 인간 유전체 데이터로, 개체 간 유전적 거리 행렬을 기반으로 군집을 형성했다. 얕은 트리(d=2~3)에서는 대륙 수준의 큰 군집이 도출되었고, 깊이를 늘리면 지역적·인구학적 세부 군집이 드러났다. 두 번째는 단백질 서열 데이터로, 서열 유사도 행렬을 이용했다. 중간 깊이(d≈4)에서 기능적으로 유사한 단백질 군집이 명확히 구분되었으며, 깊이가 너무 크면 과도한 세분화가 발생했다. 세 번째는 구두 사망진단(Verbal Autopsy) 데이터로, 증상·질병 간 연관성을 파악했다. 얕은 트리는 주요 사망 원인 군집을, 깊은 트리는 세부 원인(예: 특정 감염병)까지 구분했다. 이러한 결과는 깊이 파라미터가 데이터의 스케일과 복잡도에 맞춰 조정될 수 있음을 시사한다.

또한, 제안된 알고리즘은 기존 방법 대비 메모리 사용량과 실행 시간이 크게 개선되었다. 특히 대규모 유전체 데이터(N≈10⁴)에서 d=3일 때 단일 연결 대비 30% 정도 빠른 수렴을 보였으며, 어피니티 전파 대비 2배 이상의 메모리 절감 효과를 나타냈다. 이는 트리 구조가 불필요한 완전 연결을 피하고, 메시지 전달이局部 정보를 효율적으로 활용하기 때문이다.

결론적으로, 얕은 트리를 활용한 계층적 군집화는 깊이 조절을 통해 전통적인 군집화 기법의 장점을 취합하면서도 계산 효율성을 확보한다는 점에서 의미가 크다. 특히 생물·의료 데이터처럼 복잡한 계층 구조와 다중 스케일을 내포한 경우, 적절한 깊이 선택만으로도 새로운 생물학적·임상적 인사이트를 얻을 수 있다. 향후 연구에서는 트리 깊이를 자동으로 최적화하는 베이지안 모델링, 비정형 데이터(이미지·텍스트) 적용, 그리고 온라인 스트리밍 상황에서의 실시간 업데이트 기법 등을 탐색할 여지가 있다.