트리렛: 무순서 고차원 데이터의 적응형 다중스케일 기저

초록

트리렛은 변수 간 순서가 없는 고차원·노이즈가 많은 데이터를 위해 설계된 적응형 다중스케일 기저이다. 변수들의 상관·공선성을 탐지해 계층적 트리를 구성하고, 그 트리 구조에 기반한 정규 직교 기저를 제공한다. 차원 축소와 특징 선택에 강점이 있어 작은 표본 크기와 복잡한 의존성을 가진 유전자 발현, 하이퍼스펙트럼 이미지, 광고 데이터 등에 PCA보다 우수한 성능을 보인다.

상세 분석

트리렛은 전통적인 웨이브릿이 연속적인 신호의 국소적 변화를 포착하는 데 비해, 비연속적·비정형적인 고차원 데이터의 내부 구조를 탐색하도록 설계되었다. 핵심 아이디어는 변수 간 상관관계를 측정한 후, 가장 높은 상관을 보이는 두 변수를 병합해 새로운 합성 변수를 생성하고, 이를 반복적으로 수행해 이진 트리를 만든다. 각 병합 단계에서 생성되는 합성 변수는 두 자식 변수의 선형 결합이며, 이때 사용되는 회전 행렬은 두 변수의 공분산 행렬을 대각화하는 고유벡터를 이용해 정규 직교성을 유지한다. 결과적으로 트리의 각 노드에 대응하는 기저 벡터는 해당 서브트리 내 변수들의 주요 변동을 압축적으로 표현한다.

이러한 구조적 접근은 두 가지 중요한 장점을 제공한다. 첫째, 트리 자체가 데이터의 군집화 정보를 내포하므로, 변수 그룹화가 사전에 알려지지 않은 상황에서도 자동으로 의미 있는 클러스터를 발견한다. 둘째, 각 레벨에서 선택 가능한 기저 벡터의 수가 2^L (L은 트리 깊이) 로 제한되므로, 차원 축소 과정에서 과도한 차원 선택을 방지하고, 작은 표본 크기에서도 과적합 위험을 크게 낮춘다.

이론적 분석에서는 트리렛이 블록 대각 공분산 구조를 가진 경우, 최적의 블록을 정확히 복원하고, 해당 블록에 대한 주성분을 동일하게 추정함을 증명한다. 또한, 잡음이 존재하는 상황에서도 기저 벡터의 평균 제곱 오차가 PCA보다 낮으며, 특히 변수 간 상관이 강하고 블록 크기가 불균형일 때 그 차이가 두드러진다.

알고리즘 구현 측면에서는 매 단계마다 가장 큰 상관을 갖는 변수 쌍을 찾는 작업이 O(p^2) 복잡도를 가지지만, 히스토그램 기반 근사나 샘플링 기법을 도입하면 실용적인 p(수천~수만)에서도 충분히 빠르게 수행될 수 있다. 또한, 트리 구조가 한 번 구축되면, 원하는 해상도(레벨)에 따라 기저를 자유롭게 선택할 수 있어, 후속 회귀·분류 모델에 대한 입력을 유연하게 조정할 수 있다.

실험 결과는 세 가지 실제 데이터셋—하이퍼스펙트럼 이미지, DNA 마이크로어레이, 인터넷 광고—에 대해 PCA, 변수 평균화, 그리고 다양한 클러스터 기반 차원 축소 기법과 비교하였다. 트리렛은 분류 정확도와 회귀 MSE 측면에서 일관되게 우수했으며, 특히 표본 수가 변수 수보다 현저히 적은 상황에서 그 이점이 크게 나타났다. 또한, 트리 구조 자체가 변수 간 관계를 시각화하는 도구로 활용될 수 있어, 해석 가능성 측면에서도 기존 방법보다 뛰어나다는 점이 강조된다.

요약하면, 트리렛은 데이터의 내재된 다중스케일 구조를 자동으로 탐지하고, 정규 직교 기저를 제공함으로써 차원 축소·특징 선택·해석 가능성을 동시에 만족시키는 강력한 프레임워크이다.