의존적 요인 하에서 재고된 분리표현

초록

본 논문은 기존의 독립성 가정에 기반한 분리표현 정의와 평가 지표가 현실 데이터에 적용하기 어렵다는 문제를 제기한다. 정보이론적 관점에서 최소·충분한 표현이라는 개념을 도입해, 요인 간 의존성이 존재해도 성립하는 새로운 분리표현 정의를 제시한다. 네 가지 정보‑이론적 속성을 제시하고, 이를 최소·충분성으로 연결시킨 뒤, 실제로 의존적인 요인들을 가진 데이터셋에서 기존 지표가 실패하고 제안한 측정법이 올바르게 작동함을 실험적으로 입증한다.

상세 분석

이 논문은 “분리표현(disentanglement)”이라는 개념을 근본적으로 재정의한다는 점에서 학술적 의의를 가진다. 기존 연구들은 주로 요인(factor)들이 서로 독립적이라는 가정 하에 모듈성, 컴팩트성, 명시성 등 세 가지 속성을 제시했으며, 이를 기반으로 MIG, SAP, DCI 등 다양한 정량적 지표를 개발했다. 그러나 실제 이미지·음성·시계열 데이터에서는 색·형태·크기와 같은 시각적 요인들이 서로 강하게 상관관계를 가지며, 이러한 상관관계는 “요인‑불변성(factor‑invariance)”과 “표현‑불변성(representation‑invariance)” 같은 기존 정의를 모순시킨다.

논문은 이를 해결하기 위해 네 가지 정보‑이론적 속성을 도입한다. 첫째, 요인‑불변성은 특정 요인 Yi가 주어졌을 때 해당 요인을 담당하는 잠재변수 Zj가 다른 요인들 ˜Yi에 대해 조건부 독립임을 의미한다(I(Zj;˜Yi|Yi)=0). 이는 독립성 가정 없이도 “하나의 요인만을 담는다”는 의미를 보존한다. 둘째, 노이즈‑불변성은 Zj가 요인 Yi에 대해 노이즈 N과도 조건부 독립임을 보장한다(I(Zj;N|Yi)=0), 즉 요인과 무관한 변동이 잠재공간에 섞이지 않도록 한다. 셋째, 표현‑불변성은 Yi를 예측하는 데 Zj만으로 충분함을 뜻한다(I(Yi;˜Zj|Zj)=0), 이는 기존의 컴팩트성·완전성 정의와 동일하지만, 요인 간 의존성을 고려해도 성립한다. 넷째, 명시성은 전체 입력 X가 Z를 통해 완전히 복원될 수 있음을 의미한다(I(Yi;X|Z)=0), 이는 정보병목(IB) 프레임워크에서 “충분성(sufficiency)”에 해당한다.

이 네 속성을 동시에 만족하는 표현은 **최소·충분(minimal‑sufficient)**한 표현이라고 정의된다. 즉, 각 잠재변수 Zj는 자신이 담당하는 요인 Yi에 대해 정보를 완전히 보존하면서도, 불필요한 다른 요인·노이즈 정보를 전혀 포함하지 않는다. 논문은 이러한 정의가 기존의 독립성 기반 정의를 일반화한 것임을 증명하고, IB 최적화 목표 L = I(Z;X) – β I(Z;Y)와 직접 연결한다. β를 조절해 최소·충분성을 강제함으로써, 학습 과정에서 자연스럽게 요인‑불변·노이즈‑불변·표현‑불변·명시성을 동시에 달성할 수 있다.

측정 방법으로는 각 속성을 추정하기 위해 변분 정보추정(VMI)과 조건부 상호정보(CMI) 추정기를 활용한다. 특히 요인‑불변성과 노이즈‑불변성은 교차 엔트로피 기반의 조건부 독립성 검정을, 표현‑불변성은 단일 잠재변수만을 이용한 예측 성능을, 명시성은 전체 복원 손실을 통해 정량화한다. 실험에서는 dSprites, 3dShapes와 같은 독립 요인 데이터와, 색‑형태‑크기 의존성을 인위적으로 삽입한 변형 데이터셋을 사용했다. 기존 MIG·SAP·DCI는 의존성 데이터에서 급격히 성능이 저하되는 반면, 제안한 최소·충분성 기반 지표는 일관된 높은 점수를 유지하며, 실제 잠재공간이 요인‑불변·노이즈‑불변·표현‑불변을 만족함을 시각적으로도 확인했다.

결과적으로, 이 논문은 “분리표현”을 독립성에 얽매이지 않는 정보‑이론적 최소·충분성이라는 보다 근본적인 원칙으로 재구성함으로써, 현실 세계의 복잡한 요인 구조에서도 적용 가능한 평가 프레임워크와 학습 방법을 제공한다는 점에서 큰 기여를 한다.