헤드테일 분할 비대칭 데이터의 새로운 계층 분류법

초록

본 논문은 헤드/테일 브레이크스라는 새로운 계층 분류 기법을 제안한다. 평균값을 기준으로 데이터를 상위(헤드)와 하위(테일)로 나눈 뒤, 상위 부분이 여전히 헤비테일 분포를 보일 경우 재귀적으로 동일 과정을 반복한다. 이를 통해 클래스 수와 구간이 데이터 자체에 의해 자동 결정되며, 전통적인 Jenks 자연 구간보다 비대칭(heavy‑tailed) 데이터의 계층 구조를 더 정확히 포착한다.

상세 분석

이 논문은 기존의 데이터 구간화 방법이 대다수의 실세계 데이터, 특히 인구, 도시 규모, 네트워크 연결성 등에서 흔히 나타나는 heavy‑tailed(지수·멱법칙·로그정규) 분포를 제대로 반영하지 못한다는 점을 지적한다. 전통적인 Jenks 자연 구간(Natural Breaks)은 데이터의 전체 분산을 최소화하는 방식으로 구간을 설정하지만, 이는 데이터가 정규분포에 가까울 때 최적이다. 반면 heavy‑tailed 데이터는 소수의 큰 값(헤드)과 다수의 작은 값(테일)으로 구성돼, 평균값 자체가 데이터의 중심을 제대로 대변하지 못한다.

헤드/테일 브레이크스는 “헤드/테일 분할 규칙(head/tail division rule)”을 핵심으로 한다. 구체적으로는 (1) 전체 데이터 집합의 평균 μ를 계산하고, μ보다 큰 값들을 헤드, μ 이하인 값들을 테일로 구분한다. (2) 헤드 집합이 아직 heavy‑tailed 특성을 보이면, 헤드 집합에 대해 다시 평균을 구해 동일 과정을 반복한다. (3) 헤드 집합이 더 이상 heavy‑tailed 분포를 보이지 않을 때, 즉 평균보다 큰 값이 거의 없거나 분포가 정규에 가까워졌을 때 과정을 종료한다.

이 과정에서 두 가지 중요한 메커니즘이 작동한다. 첫째, 클래스 수가 데이터의 스케일링 계층(depth of hierarchy)에 따라 자동으로 결정된다. 예를 들어, 1차 헤드에서 20%가 상위에, 2차 헤드에서 다시 20%가 상위에… 이런 식으로 반복되면 전체 데이터는 5단계 혹은 6단계의 계층 구조를 갖게 된다. 둘째, 각 클래스 구간은 평균값을 기준으로 하므로, 구간 경계가 데이터 자체의 중심을 반영한다. 이는 “자연스러운” 구간을 만든다는 의미에서 기존의 Jenks와 차별화된다.

논문은 실험을 통해 이 방법의 유효성을 입증한다. 국가별 인구 데이터, 도시 면적·인구, 인터넷 트래픽 등 다양한 heavy‑tailed 사례에 적용했을 때, 헤드/테일 브레이크스는 실제 계층 구조(예: 대도시·중소도시·시골)와 높은 일치도를 보였다. 반면 Jenks는 인구가 고르게 분포된 것처럼 과도하게 많은 구간을 만들거나, 중요한 상위 계층을 묶어버리는 경향이 있었다. 또한, 헤드/테일 브레이크스는 시각화(맵, 히스토그램)에서도 더 직관적인 색상·크기 구분을 제공한다.

이론적 측면에서는 헤드/테일 브레이크스가 “스케일링 법칙(scaling law)”과 “프랙탈 차원(fractal dimension)” 개념과 연결될 수 있음을 시사한다. 반복적인 평균 기반 분할은 데이터의 자기유사성을 탐색하는 일종의 다중 스케일 분석이며, 이는 복잡계 과학에서 중요한 도구가 될 가능성을 보여준다.

한계점도 논문에서 언급한다. 평균값을 기준으로 하는데, 평균이 극단값에 민감하므로 매우 극단적인 outlier가 존재할 경우 초기 분할이 왜곡될 수 있다. 또한, 헤드가 충분히 작아질 때까지 반복하는 과정이 데이터 규모가 클 경우 연산 비용이 증가한다. 이를 보완하기 위해 중앙값 기반 변형이나 사전 샘플링 기법이 제안될 수 있다.

종합하면, 헤드/테일 브레이크스는 heavy‑tailed 데이터의 계층적 특성을 자동으로 드러내는 강력한 분류 도구이며, GIS, 도시 계획, 네트워크 과학 등 다양한 분야에 적용 가능성이 크다.