고차원 데이터의 놀라운 단순성: 초고차원에서의 초계층 구조와 모델 기반 군집화

본 논문은 “초계층성(ultrametricity)”이라는 개념을 중심으로 고차원 데이터가 왜 단순한 구조를 가지는지를 이론적·실험적으로 탐구한다. 초계층성은 거리 삼각 부등식이 ‘강한’ 형태인 d(x,z) ≤ max{d(x,y), d(y,z)}를 만족하는 경우를 말하며, 이는 모든 삼각형이 등변이거나 작은 밑변을 가진 이등변이 되는 특성을 의미한다. 저자는 먼저 초계층성을 정량화하기 위한 두 가지 측정법을 소개한다. 첫 번째는 Lerman이 제안한 H‑classifiability로, 거리 순위의 중간값과 최대값 사이에 빈 구간이 없어야 초계층성을 인정한다. 그러나 실수값 거리에서는 순위 기반 접근법이 스케일에 민감하고 대규모 데이터에 적용하기 어렵다. 두 번째는 저자 자체 개발한 각도 기반 방법으로, 삼각형의 세 각을 계산한 뒤 가장 작은 각을 기준으로 나머지 두 각이 2도 이내로 동일하면 해당 삼각형을 초계층성 삼각형으로 판정한다. 이 방법은 측정 오차에 강인하고, 거리 자체가 유클리드 공간에서 코사인 법칙을 통해 각을 정의할 수 있다는 전제하에 작동한다. 다음으로, 다양한 데이터 생성 모델(균등 분포, 하이퍼큐브 정점, 정규분포)을 이용해 차원을 20부터 20 000까지 확대하면서 초계층성 비율을 측정한다. 각 실험에서는 100개의 데이터 포인트를 사용하고, 300개의 삼각형을 무작위 추출해 비율을 계산한다. 결과는 차원이 증가함에 따라 초계층성 비율이 급격히 상승하는데, 차원 2 000에서는 약 0.8, 차원 20 000에서는 0.94~0.98에 달한다. 이는 고차원에서는 거리들이 거의 동일해져 ‘강한 삼각 부등식’이 자연스럽게 만족된다는 것을 의미한다. 이러한 현상은 기존의 “차원의 저주”(Bellman, 1961)와는 대조적이다. 차원의 저주는 고차원에서 거리 기반 근접 탐색이 비효율적이 되고, 데이터가 희소해져 의미 있는 이웃을 찾기 어렵다는 문제를 제기한다. 그러나 저자는 초계층 구조가 형성되면 단일 연결(싱글링크) 혹은 완전 연결(컴플리트링크) 계층 클러스터링을 이용해 트리 형태의 데이터 구조를 만들 수 있으며, 이때 탐색 복잡도는 O(1) 수준으로 감소한다. 즉, 고차원에서도 효율적인 근접 검색이 가능해진다. 논문의 핵심 응용 사례는 고주파 시계열 데이터의 구간 분할이다. 시계열을 짧은 윈도우로 나누고 각 윈도우를 고차원 특징 벡터(예: 푸리에 변환, 파워 스펙트럼 등)로 변환한다. 이렇게 만든 고차원 포인트 집합에 초계층 클러스터링을 적용하면, 유사한 구간들이 동일한 클러스터에 모이게 되고, 클러스터 경계가 곧 시계열의 변곡점이나 전이 구간을 나타낸다. 기존의 변동성 기반 방법보다 더 정밀하게 구간을 식별할 수 있으며, 실시간 스트림 처리에도 적합하다. 전체적으로 논문은 다음과 같은 흐름을 가진다. 1) 초계층성의 정의와 기존 연구(고차원에서 거리와 근접성의 무의미성, p‑adic 이론 등) 소개. 2) 초계층성을 정량화하는 두 가지 측정법 제시와 그 한계·장점 논의. 3) 차원과 희소성이 초계층성에 미치는 영향을 실험적으로 입증(표 1). 4) 초계층 구조가 고차원에서 “구조적 규칙성”을 제공함을 설명하고, 이를 이용한 O(1) 탐색 및 클러스터링 가능성 제시. 5) 고주파 시계열 데이터에 초계층 클러스터링을 적용한 사례와 그 효과 논의. 마지막으로, 초계층성은 고차원 데이터 분석에서 새로운 패러다임을 제공하며, 차원의 저주를 완화하고 효율적인 군집·검색·분할 방법을 가능하게 한다는 결론을 내린다.