고차원 데이터 시각화와 조작을 위한 파이썬 툴박스 HyperTools

초록

HyperTools는 파이썬 기반의 오픈소스 툴킷으로, 고차원 데이터셋을 PCA, PPCA, ICA, t‑SNE 등 다양한 차원 축소 기법으로 저차원에 투영하고, 정적·동적 2D·3D 플롯으로 시각화한다. 결측값을 PPCA로 보정하고, 하이퍼얼라인먼트·SRM 등 정렬 알고리즘을 통해 서로 다른 좌표계의 데이터들을 공통 공간에 맞춘다. 단일 함수 호출만으로 색상, 라벨, 클러스터링, 애니메이션 등 풍부한 스타일링을 지원한다.

상세 분석

HyperTools는 고차원 데이터 시각화의 핵심 문제인 “차원 저주”를 실용적인 API로 해결한다. 기본적으로 입력 행렬을 샘플 × 피처 형태로 받아, 내부적으로 scikit‑learn의 PCA와 PPCA 구현을 래핑해 자동으로 결측값을 추정하고, 사용자가 지정하지 않으면 3차원으로 축소한다. 이때 PPCA는 EM 알고리즘을 이용해 결측값을 최대우도 추정하므로, 데이터 손실 없이 시각화가 가능하다. 차원 축소 알고리즘은 PCA 외에도 ICA, MDS, t‑SNE 등 다양한 옵션을 제공하며, 각 알고리즘의 파라미터는 plot 함수의 method 인자를 통해 손쉽게 교체할 수 있다.

시각화 측면에서 HyperTools는 정적 플롯과 애니메이션 플롯을 모두 지원한다. 정적 플롯은 Matplotlib과 Seaborn을 기반으로 색상 팔레트, 라벨, 그룹별 색상 매핑 등을 직관적인 키워드(color, palette, labels, explore)로 제어한다. 특히 explore=True 옵션은 3D 플롯에서 마우스 오버 시 라벨을 표시해 대규모 데이터셋에서도 가독성을 유지한다. 애니메이션 플롯은 animate=True와 함께 duration, tail_duration, rotations, zoom, chemtrails 등 세부 옵션을 제공해 데이터 궤적을 시간축에 따라 움직이는 3D 큐브 안에 시각화한다. ffmpeg 의존성을 통해 MP4 형식으로 저장할 수 있다.

데이터 정렬 기능은 HyperTools의 차별화된 요소다. Procrustes 변환을 일반화한 하이퍼얼라인먼트 알고리즘은 여러 데이터셋을 선형 변환(이동, 회전, 반사, 스케일)으로 공통 좌표계에 맞춘다. 이는 뇌영상 데이터와 같이 피험자마다 좌표계가 다른 경우에 유용하며, BrainIAK의 Shared Response Model(SRM)도 옵션으로 제공한다. 정렬된 데이터는 동일한 차원 축소 파이프라인에 투입되어, 서로 다른 실험 조건이나 모달리티 간의 구조적 유사성을 직접 비교할 수 있다.

툴킷 구조는 plot/plot.py, plot/static.py, plot/animate.py 등 모듈로 분리돼 유지보수가 용이하고, tools/ 디렉터리 아래에 reduce.py, align.py, cluster.py, normalize.py 등 핵심 기능이 독립적으로 구현돼 있다. 이는 사용자가 필요에 따라 개별 함수만 호출하거나, 전체 파이프라인을 hypertools.plot 하나로 연결할 수 있게 한다. 또한 Pandas DataFrame ↔︎ Numpy 배열 변환, k‑means 클러스터링, PCA 설명력 시각화(describe_pca) 등 데이터 전처리·분석 도구를 내장하고 있어, 별도 라이브러리를 호출할 필요가 적다.

전반적으로 HyperTools는 차원 축소, 결측값 보정, 정렬, 시각화, 애니메이션까지 고차원 데이터 분석 전 과정을 일관된 인터페이스로 제공한다. 이는 데이터 과학자, 신경과학자, 행동과학자 등 다양한 분야에서 복잡한 데이터 구조를 직관적으로 탐색하고, 논문 수준의 고품질 그래프를 빠르게 생성하는 데 큰 장점을 제공한다.