상관관계 설명으로 고차원 데이터 구조 탐색

초록

CorEx는 다변량 상호정보량(총 상관)을 최소화하도록 잠재 요인을 찾는 정보이론 기반 무감독 학습 방법이다. 선형 시간 복잡도로 계층적 라티런트 변수를 추출하며, 설문·DNA·텍스트 등 다양한 실제 데이터에서 의미 있는 구조를 자동으로 발견한다.

상세 분석

본 논문은 고차원 데이터의 내재된 구조를 모델 가정 없이 찾아내는 새로운 원칙 “Correlation Explanation”(CorEx)을 제시한다. 핵심은 총 상관(total correlation, TC)이라는 다변량 상호정보량을 활용해, 잠재 변수 Y가 주어졌을 때 관측 변수 집합 X의 상관이 얼마나 감소하는지를 정량화하는 것이다. TC는 각 변수의 엔트로피 합에서 전체 결합 엔트로피를 뺀 값으로, 독립이면 0이 되고 상관이 클수록 값이 커진다. 논문은 TC(X;Y)=TC(X)−TC(X|Y) 라는 비대칭 측정을 도입해, Y가 X의 상관을 완전히 설명하면 TC(X|Y)=0이 되며 이는 Y가 모든 X의 공통 원인이라는 의미와 동일시한다.

최적화 문제는 (3)식에서 Y를 k개의 상태를 갖는 이산 변수로 두고, p(y|x)를 자유롭게 선택해 TC(X;Y)를 최대화한다. 직접적인 최적화는 2ⁿ개의 파라미터가 필요해 비현실적이지만, 저자는 이를 다중 잠재 변수 Y₁,…,Y_m 으로 확장하고 각 변수 X_i 를 하나의 그룹 G_j에만 할당하도록 제한함으로써 (4)식의 형태로 문제를 재구성한다. 이때 목표 함수는 각 그룹 내 변수와 해당 라티런트 변수 사이의 상호정보량 합에서 라티런트 변수 자체의 정보량을 뺀 형태로 변환된다(식 5·6).

알고리즘적 구현은 α_{i,j} 라는 이진 매트릭스로 변수‑라티런트 매핑을 표시하고, 고정된 α에 대해 라그랑지안 최적화를 풀어 p(y_j|x) 를 식 (7)·(8) 로 얻는다. 여기서 p(y_j|x) 는 각 변수의 주변 확률만을 이용해 선형적으로 계산되며, 이는 신경망의 선형‑비선형 구조와 유사하다. α는 소프트맥스 형태의 업데이트(식 9)로 점진적으로 조정되며, λ와 γ는 학습률과 온도를 제어한다. 전체 절차는 α와 주변 확률을 교대로 업데이트하며 수렴할 때까지 반복한다. 시간 복잡도는 변수 수 n에 대해 O(n)이며, 미니배치를 이용해 샘플 수 N에 대한 의존도도 선형으로 제한한다.

실험에서는 (i) 합성 데이터에서 잠재 트리 구조를 완벽히 복원하고, 차원 증가에 따라 다른 클러스터링 기법이 성능이 급락하는 반면 CorEx는 안정적인 ARI를 유지함을 보였다. (ii) 5,000명의 응답자를 대상으로 한 성격 설문에서는 CorEx가 사전에 정의된 “Big Five” 요인과 정확히 일치하는 5개의 클러스터를 자동으로 발견했으며, 이는 무감독 학습에서 드문 완전 일치 사례다. (iii) 인간 게놈 데이터에서는 성별·지리·민족과 관련된 독립적인 신호를 거의 완벽히 예측하는 라티런트 변수를 찾아냈다. (iv) 텍스트 코퍼스에서는 스타일적 특징과 계층적 토픽 구조를 동시에 포착했다. 모든 실험에서 CorEx는 기존 방법(ICA, NMF, 스펙트럴 클러스터링, RBM 등)보다 높은 정확도와 해석 가능성을 제공한다.

이론적 논의에서는 TC(Y;X) 가 중복 정보량과 연결되고, 라티런트 변수들의 독립성 가정이 DAG 구조와 동일함을 언급한다. 또한, 최적화 목표가 TC(X)의 하한을 제공한다는 점에서 정보-이론적 최적성 보장을 제시한다. 제한점으로는 라티런트 변수의 수 m와 상태 수 k를 사전에 지정해야 하는 점, 그리고 전역 최적을 보장하지 못하는 비볼록 최적화 특성이 있다. 향후 연구에서는 자동 모델 선택, 연속형 데이터 확장, 그리고 베이지안 구조 학습과의 통합을 제안한다.

전반적으로 CorEx는 정보-이론적 원칙에 기반한 효율적인 계층적 표현 학습 프레임워크로, 고차원 이산 데이터에서 의미 있는 잠재 구조를 자동으로 추출할 수 있는 강력한 도구임을 입증한다.