조건부 샘플링을 위한 쌍둥이 워싱턴 오토인코더

초록

본 논문은 두 데이터 분포 사이의 최적 수송(OT) 커플링을 완전하게 파라미터화하기 위해 공유 잠재공간을 갖는 두 개의 워싱턴 오토인코더(WAE)를 쌍으로 연결한다. 결정적 인코더를 통해 비용 최적 Monge 맵을 학습하고, 확률적 디코더를 이용해 OT‑type 커플링으로부터 조건부 샘플을 생성한다. 합성 가우시안 혼합과 구면 데이터에서 실험을 수행해 매핑 정확도와 조건부 생성 품질을 검증한다.

상세 분석

이 연구는 기존 워싱턴 오토인코더(WAE)가 단일 분포와 잠재 prior 사이의 OT 문제를 완화하여 해결하는 방식을 두 분포 사이의 커플링으로 확장한다는 점에서 혁신적이다. 핵심 아이디어는 동일한 잠재분포 ξ를 공유하는 두 개의 디코더 Dₓ와 D_y를 도입하고, 각각의 인코더 Eₓ, E_y를 통해 ξ에 매핑한다는 점이다. 이렇게 하면 (Dₓ, D_y)#ξ가 µ와 ν 사이의 전이 플랜을 직접 파라미터화한다. 손실 함수 (4)는 세 부분으로 구성된다. 첫 번째는 ξ에 대한 디코더 쌍의 평균 비용 ‖Dₓ(z)-D_y(z)‖, 두 번째와 세 번째는 각각 Dₓ와 D_y가 자신의 마진을 원본 분포와 맞추도록 하는 기존 WAE 정규화(StatDiv)이다. 이 “비균형 OT” 형태는 마진 일치를 완화하면서도 비용 최소화를 강제한다.

결정적 인코더 Eₓ와 E_y가 존재하고 역함수성을 만족한다면, 학습된 매핑 Mₓ→y(x)=D_y(Eₓ(x))와 M_y→x(y)=Dₓ(E_y(y))는 Monge 맵에 근접한다. 논문은 이를 “Neural OT Map on Sphere” 실험에서 시각화하고, Monge Gap 지표를 통해 정량적으로 평가한다. 또한, 조건부 샘플링을 위해 인코더에 추가 잡음 ξ′를 도입하고, Dₓ∘E_y(y,·)#ξ′를 통해 p(x|y)와 유사한 분포를 생성한다. 이는 선형 관측 모델 y=F(x)+ε와 같은 역문제에서 베이지안 사후분포를 근사하는 데 유용하다.

실험에서는 8개의 평균을 갖는 고차원 가우시안 혼합을 사용해 마진 일치와 비용 최소화 사이의 트레이드오프를 λ_joint, λ_WAE 하이퍼파라미터로 조절한다. λ_joint=λ_WAE=10일 때 Monge Gap이 최소화되고 에너지 거리(ED)가 낮아 최적 전이 플랜을 잘 근사한다는 결과를 보였다. 구면 S² 위에서의 실험은 디코더 출력을 ℓ₂ 정규화함으로써 기하학적 제약을 만족시키는 방법을 보여준다. 조건부 실험에서는 기존 조건부 VAE(cVAE)와 비교해, cVAE가 조건부 평균에 더 정확하지만 지원(support)이 제한되는 반면, 제안된 쌍둥이 WAE는 더 넓은 지원을 유지하면서도 만족스러운 조건부 ED를 달성한다.

이론적 측면에서는 커플링 존재와 Monge 맵의 가역성 가정이 필요함을 명시하고, λ_WAE, λ_joint →∞ 경우에 마진 제약이 강제되는 한계점을 인정한다. 향후 연구에서는 이러한 가정의 완화, 보다 일반적인 비용 함수 적용, 실데이터(이미지, 시계열)로의 확장, 그리고 최적화 안정성을 위한 정규화 기법 개발이 제안된다.