다중 뷰 데이터의 공유와 개별 기하학 무감독 추출

초록

SPLICE는 두 개의 고차원 뷰를 쌍으로 입력받아, 공유 잠재 변수와 각 뷰별 개별 잠재 변수를 동시에 분리하고, 각각의 내재된 기하학 구조를 보존하는 신경망 기반 무감독 방법이다. 예측 가능성 최소화와 교차 자동인코더 설계를 통해 공유·개별 정보의 누수를 방지하고, 이후 전통적인 매니폴드 학습을 이용해 추정된 서브매니폴드의 거리 구조를 유지하도록 추가 손실을 적용한다. 실험에서는 회전된 MNIST와 실제 뇌 기록 데이터에서 기존 선형·비선형 방법보다 더 정확한 분리와 해석 가능성을 보였다.

상세 분석

SPLICE는 다중 뷰 학습에서 가장 핵심적인 문제인 “공유(latent)와 개별(latent) 정보의 비선형 혼합”을 명시적으로 모델링한다. 논문은 먼저 관측 모델을 x_A = g_A(s, z_A), x_B = g_B(s, z_B) 로 정의하고, 여기서 s는 두 뷰가 공유하는 잠재 변수, z_A와 z_B는 각각 뷰 A와 B에만 존재하는 개별 잠재 변수라고 가정한다. 이때 g_A, g_B는 비선형 함수이며, s, z_A, z_B는 통계적으로 독립이라고 전제한다.

SPLICE의 핵심 설계는 두 단계로 나뉜다.
1️⃣ Step 1 – Disentangling: 각 뷰에 대해 두 개의 인코더(F_A, F_A→B 등)를 두어 공유 잠재와 개별 잠재를 동시에 추출한다. 공유 잠재는 반대 뷰의 인코더에서 얻으며, 이를 이용해 원본 뷰를 재구성한다(예: x̂_A = G_A(s_B←A, z_A)). 이렇게 하면 재구성 과정에서 공유 잠재가 해당 뷰에 “누출”되는 것을 방지한다. 개별 잠재가 공유 정보를 포함하지 않도록 하기 위해서는 Predictability Minimization(Schmidhuber, 1992)를 도입한다. 즉, 별도의 측정 네트워크 M_B←A, M_A←B가 개별 잠재(z_B, z_A)로부터 상대 뷰의 원본 데이터를 예측하도록 학습하고, 인코더는 이 예측을 가능한 한 못하게(예측 오차를 최대화) 학습한다. 이는 상호 정보 I(z_B; x_A)와 I(z_A; x_B)를 0에 가깝게 만들며, 잠재 변수 간의 통계적 독립성을 강제한다. 손실은 재구성 MSE와 예측 오차의 분산(Var) 항을 가중치 λ_dis 로 결합한 형태이며, 인코더와 측정 네트워크를 교대로 최적화한다. 이 과정은 GAN과 유사한 적대적 학습 구조를 띠지만, 목표는 데이터 생성이 아니라 정보 누수 방지이다.

2️⃣ Step 2 – Geometry Preservation: Step 1에서 얻은 잠재 표현을 이용해 각 잠재 공간(공유, A‑개별, B‑개별)의 서브매니폴드 기하학을 복원한다. 구체적으로, 공유 잠재를 고정하고 개별 잠재만 변형하거나 그 반대로 변형하여 관측 공간에 투영한다. 이렇게 얻은 투영 데이터에 전통적인 매니폴드 학습(예: Isomap, LLE) 기법을 적용해 근접 이웃 그래프를 구축하고, 랜드마크 기반으로 지오데식 거리 D_geo 를 추정한다. 이후 잠재 공간 내 유클리드 거리 D_z 와 D_geo 사이의 차이를 최소화하는 추가 손실 L_geo 를 도입한다. 이 손실은 λ_geo 로 조절되며, 전체 손실은 L_SPLICE + λ_geo·L_geo 로 구성된다. 이렇게 하면 잠재 공간이 원본 데이터의 내재된 곡률과 토폴로지를 반영하게 되어, 해석 시 “원형”, “토러스” 등 의미 있는 구조를 직접 확인할 수 있다.

주요 강점

• 비선형 표현력: g_A, g_B 를 완전 연결 또는 컨볼루션 네트워크로 구현함으로써 복잡한 비선형 관계를 학습한다.
• 명시적 독립성 보장: 예측 가능성 최소화는 잠재 변수 간 상호 정보를 직접 최소화하므로, 차원 수가 과소·과대 지정되더라도 공유·개별 정보가 섞이는 현상을 크게 억제한다.
• 기하학 보존: 전통적인 매니폴드 학습을 잠재 공간에 직접 연결함으로써, 기존의 총상관(CCA)·리니어 회귀 기반 방법이 잃어버리는 거리 구조를 복원한다.
• 범용성: 두 뷰가 반드시 같은 차원을 가질 필요가 없으며, 이미지·시계열·뇌 신호 등 다양한 도메인에 적용 가능하다.

실험 검증

• Rotated MNIST: 원본 MNIST와 임의 회전 버전을 뷰 A, B 로 사용. 공유 정보는 숫자 형태, 개별 정보는 회전 각도. SPLICE는 회전 각도를 정확히 개별 잠재에 캡처하고, 공유 잠재는 회전 불변 특징을 보존한다. 기존 방법(LU et al., 2021; Lee & Pavlovic, 2021)은 회전 정보가 공유 잠재에 섞이거나, 회전 각도 추정 정확도가 낮았다.
• 뇌 기록 데이터: 두 뇌 영역(예: 시각 피질 vs. 전두 피질)의 동시 기록을 사용. SPLINE은 알려진 공통 자극(예: 시각 자극)의 변동을 공유 잠재에, 영역별 독특한 발화 패턴을 개별 잠재에 매핑했다. 잠재 공간에서 발견된 원형·토러스 구조는 해당 영역의 알려진 토포그래피와 일치했으며, 이는 기존 선형 CCA 기반 분석이 포착하지 못한 결과다.

제한점 및 향후 과제

• 현재는 두 뷰에 한정된 설계이며, 다중(>2) 뷰 확장은 추가 인코더·디코더 쌍이 필요하다.
• 측정 네트워크의 학습이 불안정할 경우, 예측 가능성 최소화가 제대로 작동하지 않을 수 있다. 이를 해결하기 위한 안정화 기법(예: 스펙트럼 정규화) 도입이 필요하다.
• 대규모 데이터셋에서 랜드마크 기반 지오데식 추정이 여전히 O(N log N) 수준이므로, 더 효율적인 근사 방법이 요구된다.

전반적으로 SPLICE는 “공유 vs. 개별” 정보를 명시적으로 분리하고, 각 잠재 공간의 기하학을 보존함으로써 과학적 해석에 적합한 표현을 제공한다는 점에서, 특히 뇌 과학과 같은 데이터‑드리븐 과학 분야에 큰 파급 효과를 기대할 수 있다.