자동인코더의 재구성 오류와 압축 효율 비교

초록

본 논문은 자동인코더를 재구성 오류 최소화와 데이터 압축(코드길이 최소화) 두 관점에서 분석한다. 변분 하한을 이용해 재구성 손실에 KL 발산 항을 추가하면 압축 코드길이의 상한이 된다. 이 상한은 디노이징 및 컨트랙티브 자동인코더와 연결되며, 최적의 노이즈 수준과 정규화 계수를 이론적으로 결정한다.

상세 분석

논문은 먼저 자동인코더를 전통적인 재구성 손실 (L_{\text{rec}}) 과 확률적 생성 모델 (g) 으로 정의하고, 데이터 집합 (D) 에 대한 코드길이 (L_{\text{gen}}) 를 (-\log p_g(x)) 로 표현한다. 직접 (L_{\text{gen}}) 를 최소화하는 것이 어려운 이유는 모든 가능한 잠재 변수 (y) 에 대해 적분(또는 합)해야 하기 때문이다. 이를 해결하기 위해 두 단계 코딩 방식을 제시한다. 첫 단계는 사전 (\rho) 에 따라 (y) 를 샘플링하고, 두 번째 단계는 (g(y)) 로 (x) 를 복원한다. 이때 (y) 를 명시적으로 인코딩하면 (-\log\rho(y)-\log g_y(x)) 라는 두 부분 코드길이가 얻어지며, 이는 (L_{\text{gen}}) 보다 항상 크다.

핵심은 (f) (인코더) 를 도입해 (y) 를 선택하는 과정을 확률적 (f(x)) 로 근사함으로써 (L_{\text{gen}}) 의 상한을 만든다. 변분 원리를 적용하면
\