XFactors: 대조 학습 기반 정보 병목을 이용한 약한 지도 분리 표현 학습

초록

XFactors는 약한 지도 하에 VAE 구조를 이용해 목표 요인들을 별도 잠재 서브스페이스에 배치하고, InfoNCE 대조 손실로 각 요인별 정보를 강화한다. KL 정규화는 전체와 잔차 서브스페이스를 가우시안으로 정렬해 비지도 요인들을 자연스럽게 보존한다. 실험 결과 CelebA 등 실제 데이터에서도 최첨단 분리 성능을 달성한다.

상세 분석

본 논문은 Disentangled Information Bottleneck(DIB) 이론을 VAE에 직접 적용하면서, 기존의 적대적 학습이나 별도 분류기 없이도 요인별 분리를 달성한다는 점에서 혁신적이다. 핵심 아이디어는 전체 잠재 공간 Z를 잔차 서브스페이스 S와 K개의 요인 전용 서브스페이스 T₁…T_K 로 직합(direct sum)하도록 설계하는 것이다. 각 T_i 는 해당 요인 y_fi 와 높은 상호정보를 갖도록 InfoNCE 대조 손실을 적용한다. 이때 양성 샘플은 같은 요인 값을 가진 이미지, 음성 샘플은 다른 값을 가진 이미지로 구성해, 같은 요인값을 가진 잠재 벡터가 서로 가깝게, 다른 값은 멀게 배치된다. InfoNCE는 MI를 하한으로 제공하므로, 최적화 과정에서 I(T_i; y_fi) 가 크게 증가한다.

동시에 KL 발산을 β_s 와 β_t 로 가중해 S 와 전체 T (∑_i T_i) 에 가우시안 프라이어를 강제한다. 이는 잠재 분포를 정규화해 재구성 손실과의 균형을 맞추고, 비지도 요인들이 S 에 자연스럽게 흡수되도록 만든다. 즉, S 는 “잔차” 정보를 담아 I(T; S) 를 최소화함으로써 요인 간 독립성을 유지한다.

학습 목표는
L = L_reco + β_s·L_KL^S + β_t·L_KL^T + Σ_i λ_i·L_InfoNCE^i
이며, L_reco 는 MSE 기반 재구성 손실, L_KL 는 표준 VAE KL, L_InfoNCE^i 는 각 요인별 대조 손실이다. 이 식은 DIB의 목적식 L_DisenIB = –Σ_i I(T_i; y_fi) – I(X; (S,Y)) + I(T; S) 와 일치하도록 설계되었다.

구조적 측면에서 두 개의 병렬 인코더 ψ_s 와 ψ_t 를 사용해 z_s 와 z_t 를 각각 샘플링하고, 이를 concat 후 디코더 ϕ 가 복원을 수행한다. 요인 교체(swap) 실험에서는 소스 이미지의 z_s 와 타깃 이미지의 특정 z_t,i 만 교체해, 원하는 요인만 변형된 이미지를 생성한다. 이는 잠재 서브스페이스가 실제로 요인과 1:1 매핑됨을 시각적으로 검증한다.

실험에서는 dSprites, Shapes3D, MPI3D 등 합성 데이터와 CelebA 같은 실제 데이터에 동일한 하이퍼파라미터를 적용했다. 평가 지표는 MIG, SAP, DCI 등 표준 분리 메트릭이며, XFactors는 기존 최첨단 방법(β‑VAE, FactorVAE, β‑TCVAE, DisCo 등)을 전반적으로 앞선 점수를 기록한다. 특히, 요인 수가 늘어나거나 잠재 차원이 확대될 때도 성능 저하가 거의 없으며, 이는 서브스페이스 설계와 KL 정규화가 스케일에 강인함을 보여준다.

요약하면, XFactors는 (1) 정보 병목 원리를 대조 학습과 결합해 요인‑잠재 매핑을 명시적으로 제어, (2) 비지도 요인들을 잔차 서브스페이스에 자연스럽게 위임, (3) 적대적 학습 없이 안정적인 최적화를 제공한다는 세 가지 핵심 장점을 갖는다. 이는 실제 응용에서 라벨이 제한된 상황에서도 의미 있는 요인 분리를 가능하게 하며, 향후 복합 도메인(예: 의료, 과학) 데이터에 대한 해석 가능성 향상에 기여할 것으로 기대된다.