생성 모델 잠재공간 샘플링과 시각화 기법

본 연구는 생성 모델, 특히 변분 오토인코더(VAE)와 생성적 적대 신경망(GAN)에서 잠재공간을 효과적으로 샘플링하고 시각화하기 위한 일련의 기법들을 제안한다. 첫 번째 기법은 기존에 널리 사용되던 선형 보간(linear interpolation)의 한계를 지적하고, 구면 선형 보간(spherical linear interpolation, slerp)으로 대체한다. 고차원 가우시안 사전 분포를 갖는 잠재공간에서는 선형 보간이 중간 지점에서 사전 평균에서 크게 벗어나 “텐트‑폴” 현상을 일으키며, 이는 샘플 품질 저하로 이어진다. slerp은 n‑차원 구면 위의 대원호를 따라 보간함으로써 전체 경로가 사전 분포의 반경을 유지하도록 설계되었으며, VAE와 DCGAN 실험에서 중간 단계 이미지가 현저히 선명해지는 효과를 확인했다. 두 번째로, 잠재공간에서의 아날로지 연산을 시각화하기 위해 J‑다이어그램을 도입한다. J‑다이어그램은 세 개의 입력 이미지(A, B, C)를 인코딩하고, B‑A와 C‑A의 차이를 적용해 D = C + B − A를 계산한다. 네 모서리(원본·재구성·아날로지 결과)와 그 사이를 slerp으로 연결해 변환 과정을 직관적으로 보여준다. 동일한 입력을 VAE와 GAN에 적용해 결과를 비교함으로써 두 모델이 매니폴드 구조를 어떻게 다르게 학습하는지 시각적으로 파악할 수 있다. 세 번째 기법은 잠재공간의 “죽은 구역(dead zones)” 문제를 해결하기 위한 MINE(Manifold Interpolated Neighbor Embedding) 그리드이다. 대규모 검증·테스트 이미지들을 인코딩해 근접 이웃을 2‑D 격자에 배치하고, 격자 내부를 slerp으로 보간한다. 이렇게 하면 실제 데이터가 차지하는 잠재공간의 연속적인 부분을 시각화할 수 있어, 모델이 학습한 매니폴드의 밀도와 형태를 직관적으로 파악한다. 특히, 인코더가 있는 모델에서만 가능한 접근법이지만, 잠재공간 탐색과 새로운 샘플 생성에 유용한 네비게이션 메커니즘을 제공한다. 속성 벡터 추출에 있어서는 두 가지 새로운 접근법을 제시한다. 첫 번째는 라벨 간 상관관계가 존재할 때 발생하는 편향을 보정하기 위해 데이터 복제(replication)를 이용해 각 라벨 조합을 균등하게 만든 뒤 평균 차이를 계산하는 방법이다. 예를 들어 CelebA 데이터에서 남성‑미소 라벨은 부정적 상관관계가 있어, 단순 평균 차이로 만든 “미소” 벡터는 남성 특성까지 제거하는 부작용이 있었다. 복제 기법을 적용하면 남성·여성, 미소·비미소 각각을 균등하게 샘플링해 편향을 제거하고, 독립적인 “미소”와 “입 벌림” 벡터를 동시에 얻을 수 있다. 두 번째는 라벨이 인간 주관에 의존해 편향될 가능성이 있는 경우, 합성 데이터를 이용해 속성 벡터를 만든다. 논문에서는 블러 라벨이 어두운 이미지에 편향된 문제를 해결하기 위해, 원본 이미지에 가우시안 블러를 인위적으로 적용한 합성 데이터셋을 만든 뒤, 원본과 블러 처리된 이미지의 평균 인코딩 차이를 속성 벡터로 정의한다. 이렇게 만든 “합성 블러” 벡터는 밝기와 같은 부수적 특성을 포함하지 않아, 디코딩 시 블러만 효과적으로 감소시킨다. 마지막으로, 속성 벡터의 정량적 평가를 위해 이진 분류기를 활용한다. 각 속성 벡터를 잠재공간에 적용해 생성된 샘플에 대해 라벨을 예측하는 로지스틱 회귀 혹은 간단한 신경망을 학습시킨다. CelebA의 40개 속성에 대해 VAE‑AtDot, GAN‑AtDot 등 여러 모델을 테스트했으며, 평균 정확도가 84 %에 달했다. 이는 속성 벡터가 잠재공간에서 의미 있는 선형 분리를 제공함을 입증한다. 전체적으로 논문은 (1) 사전 분포와의 일관성을 유지하는 slerp 보간, (2) 아날로지와 매니폴드 구조를 시각화하는 J‑다이어그램 및 MINE 그리드, (3) 라벨 편향을 보정하거나 합성 데이터를 활용한 속성 벡터 추출, (4) 속성 벡터의 정량적 평가라는 네 축을 통해 생성 모델의 잠재공간을 보다 체계적으로 탐색하고 비교할 수 있는 도구들을 제공한다. 이러한 기법들은 모델 종류에 구애받지 않으며, VAE와 GAN 모두에 적용 가능하므로, 향후 생성 모델 연구와 실무 적용에 있어 중요한 참고 자료가 될 것이다.