조건부 확률을 이용한 다변량 딥 모델

초록

본 논문은 이미지, 세그멘테이션, 속성, 잠재 변수 등 이질적인 변수 집합의 공동 확률을 각 변수의 조건부 분포로 정의하고, 이를 파라미터화된 마코프 체인 커널로 학습한다. 제한된 라벨만 존재하는 반지도 학습 상황에서도 효율적으로 학습할 수 있으며, 학습된 모델은 임의의 변수 조합에 대한 추론을 MCMC 샘플링으로 수행할 수 있다.

상세 분석

이 논문은 기존 딥 모델이 특정 작업에 맞춰 확률 분해를 설계함으로써 다른 작업에 대한 활용성을 제한한다는 문제점을 지적한다. 이를 해결하기 위해 저자들은 “조건부 확률 집합”이라는 새로운 프레임워크를 제안한다. 구체적으로, 변수 집합 x = (x₁,…,x_m) 에 대해 각 변수 x_i 의 조건부 분포 pθ_i(x_i | x_{-i}) 를 별도로 파라미터화하고, 이들 조건부를 교대로 샘플링하는 Gibbs‑like 마코프 체인을 정의한다. 핵심 아이디어는 이 체인의 제한 분포가 전체 공동 분포 pθ(x) 가 되도록 학습하는 것이다.

학습 목표는 제한 분포의 데이터 로그우도 L(θ)=E_{q(x)}