CrossCat 이질적 고차원 데이터를 위한 완전 베이지안 비모수 방법

본 논문은 고차원·이질적 데이터 테이블을 분석하기 위한 범용 베이지안 비모수 모델인 CrossCat을 제안한다. 기존 방법론—베이지안 네트워크, 단일 디리클레 프로세스 혼합 모델, 스파스 다변량 가우시안—은 각각 구조 학습, 데이터 타입 다양성, 연속형 데이터 처리에 강점을 가지지만, 고차원에서의 스케일러빌리티·다중 신호 탐지·결측치 처리 등에 한계를 보인다. CrossCat은 이러한 한계를 극복하기 위해 두 단계의 디리클레 프로세스를 결합한다. 첫 번째(외부) DP는 열을 서로 겹치지 않는 여러 뷰(view)로 파티셔닝한다. 뷰는 변수 집합 간의 독립성을 의미한다. 두 번째(내부) DP는 각 뷰마다 행을 카테고리(category)로 클러스터링한다. 내부 클러스터는 해당 뷰에 속한 변수들의 공동 분포를 비모수적으로 모델링한다. 각 변수 타입에 따라 베타‑베르누이(이진), 정규‑감마(연속), 카테고리컬(범주형) 등 적절한 파라메트릭 컴포넌트를 사용한다. 모델 추론은 collapsed Gibbs 샘플링으로 수행된다. 샘플링 과정에서 (1) 변수의 뷰 할당, (2) 각 뷰 내 행의 카테고리 할당, (3) 각 컴포넌트의 하이퍼파라미터를 순차적으로 업데이트한다. 이때 모든 잠재 변수와 하이퍼파라미터를 마진화함으로써 사후 불확실성을 보존하고, 샘플링 복잡도를 O(N·D)로 유지한다. 알고리즘은 병렬화가 용이하며, 실제 구현에서는 수백만 셀 규모의 데이터에 대해 수십 번의 이터레이션만으로 수렴을 확인했다. 실험에서는 다섯 개의 실제 데이터셋을 사용했다. (1) 미국 병원 비용·품질 데이터(수천 행·수십 변수), (2) 의회 투표 기록, (3) 주별 실업률 시계열, (4) 유전자 발현 매트릭스, (5) 손글씨 이미지(MNIST). 각 데이터셋에 대해 CrossCat은 다음과 같은 성과를 보였다. - **구조 해석**: 변수 간 독립·의존 관계를 시각화한 뷰 파티션이 도메인 전문가가 기대하는 의미 있는 그룹(예: 동물 데이터에서 해부학적·생태학적 뷰)과 일치했다. - **예측 정확도**: 결측치 보정, 클래스 라벨 예측, 연속값 회귀 등에서 최신 랜덤 포레스트, XGBoost, 딥 신경망과 비교해 동등하거나 약간 우수한 RMSE·정확도를 기록했다. 특히 결측치가 많이 존재하는 경우 비모수적 클러스터링이 강건함을 보였다. - **스케일러빌리티**: 10 백만 셀(≈100 k 행·100 k 열) 규모의 테이블에서도 메모리 사용량을 적절히 관리하며, 30분 이내에 50개의 Gibbs 샘플을 수집했다. 논문은 또한 기존 비모수 모델인 Nested DP, Hierarchical DP와의 차이점을 상세히 논의한다. Nested DP는 데이터셋 간 클러스터링을 목표로 하지만, CrossCat은 동일 데이터셋 내 변수와 행을 동시에 파티셔닝한다는 점에서 구조적 차이가 있다. 또한, 기존 변형들은 주로 클러스터링에 초점을 맞추어 예측 기능을 제공하지 않았으나, CrossCat은 완전 베이지안 예측 파이프라인을 제공한다. 마지막으로 한계와 향후 연구 방향을 제시한다. 현재 모델은 뷰 간 상호작용을 직접 모델링하지 않으며, 복잡한 비선형 관계를 포착하기 위해 뷰를 더 세분화하거나, 하이퍼파라미터 자동 튜닝 메커니즘을 강화할 필요가 있다. 또한, 변분 추론이나 스토캐스틱 그라디언트 MCMC와 결합해 더욱 큰 데이터에 적용하는 방안도 제시한다. 요약하면, CrossCat은 비모수 베이지안 클러스터링과 구조 학습을 결합한 강력하고 확장 가능한 프레임워크로, 이질적·고차원 데이터의 탐색적 분석과 예측 모두에 유용하며, 다양한 도메인에서 의미 있는 통찰과 경쟁력 있는 성능을 제공한다.