트리렛 기법에 대한 비평과 고차원 데이터 처리의 대안

본 논문은 Lee, Nadler, 그리고 Wasserman(2007)이 제안한 “Treelets—An adaptive multi‑Scale basis for sparse unordered data”에 대한 논평이다. 논문은 먼저 Treelets 알고리즘이 제시하는 다섯 가지 주요 특성을 정리한다. 첫째, 고유벡터 기반의 새로운 결합 기준을 이용해 계층적 군집을 수행한다. 둘째, 각 군집 단계에서 지역적 주성분 분석(PCA)을 적용함으로써 샘플 수 요구를 로그 수준으로 낮추고, 계산 복잡도를 이론적으로는 O(p²) 로 유지한다. 셋째, 데이터에 적응적인 직교 변환을 제공하며, 변환 자체가 트리 구조와 연계된다. 넷째, 계층적 군집, 차원 축소, 다중해상도 변환을 하나의 프레임워크에 통합한다. 다섯째, 공분산 행렬의 블록 구조와 “모델” 혹은 “패턴” 컨텍스트와 같은 다양한 데이터 패턴을 탐색한다. 하지만 저자는 이러한 장점에도 불구하고 몇 가지 근본적인 한계를 지적한다. 첫 번째는 차원(p)의 규모에 대한 제한이다. 논문에 제시된 실험에서는 최대 760 차원(인터넷 광고 데이터)만을 다루었으며, Section 2.1에서 언급된 O(p²) 의 계산 시간은 실제로는 O(p³) 에 근접한다. 이는 L=O(p) 로 설정될 경우 발생하는 문제이며, 실용적인 고차원 데이터(수천~수만 차원)에서는 적용이 어려워진다. 저자는 자신이 2007년에 발표한 “The Haar wavelet transform of a dendrogram”(Murtagh, 2007a)에서 제시한 방법이 관측치 n과 변수 p 모두에 대해 선형 복잡도(O(n·p))를 달성한다고 주장한다. 이는 “small‑n, large‑p” 상황에서 필수적인 요구 사항이며, 특히 유전학, 텍스트 마이닝, 고주파 금융 데이터와 같이 변수 수가 관측치보다 훨씬 큰 경우에 유리하다. 두 번째 비판은 지역 PCA가 데이터 정규화와 잡음 억제에 제한적이라는 점이다. 정량·정성 혼합 데이터, 범주형 변수, 혹은 결측치가 많은 데이터셋에서는 PCA가 Euclidean 거리 기반 임베딩을 제공하지 못한다. 저자는 대응분석(Correspondence Analysis)을 활용해 데이터를 Euclidean 공간에 임베딩하고, 그 위에서 Treelets와 유사한 다중해상도 변환을 적용하면 정규화와 차원 축소를 동시에 수행할 수 있다고 제안한다(참조: Murtagh, 2005). 세 번째 논점은 고차원 데이터에서 “희소성(sparsity)”만을 성공적인 추론의 핵심으로 보는 관점에 대한 반박이다. 저자는 Hall·Marron·Neeman(2005), Donoho·Tanner(2005), Ahne et al.(2007) 등 고차원 저표본 데이터의 기하학적·위상학적 특성을 연구한 선행 연구들을 인용한다. 이들 연구는 고차원 공간이 갖는 거리 집중 현상, 초구형 구조, 그리고 랜덤 투영에 의한 이웃성(neighborliness) 등을 강조한다. 이러한 특성은 데이터가 희소하든 아니든, 차원 자체가 제공하는 구조적 정보를 활용함으로써 간단한 모델(예: 거리 기반 군집, k‑nearest neighbor)으로도 높은 예측 정확도를 달성할 수 있음을 보여준다. 저자는 특히 “very high dimensional data exhibit remarkable simplicity”라는 자신의 2007b 논문을 인용해, 차원 자체가 모델링의 복잡성을 낮추는 역할을 할 수 있음을 강조한다. 마지막으로, Treelets의 다중해상도 변환이 데이터 적응적이라는 점은 긍정적으로 평가하지만, 실제 적용 시 L 값을 사용자가 직접 제한해야 하는 실용적 제약이 존재한다는 점을 지적한다. 이는 알고리즘의 자동화와 확장성을 저해한다. 또한, 논문에서 제시된 “sparsity” 개념이 실제 데이터의 구조적 복잡성을 충분히 포착하지 못한다는 점을 비판한다. 결론적으로, 저자는 Treelets가 이론적으로 흥미롭고, 특정 상황(예: 중간 규모 차원, 충분한 샘플)에서는 유용할 수 있으나, 고차원·소표본 문제에 직면한 현대 데이터 과학에서는 선형 복잡도의 웨이브렛‑덴드로그램 변환과 고차원 토폴로지를 활용한 접근이 더 실용적이고 효과적이라고 주장한다. 이러한 관점은 향후 고차원 데이터 분석 방법론 개발에 중요한 방향성을 제시한다.