VAE와 GAN을 이용한 잠재공간 자가조직화와 내재적 경로 재생 연구

초록

본 논문은 시각적 네비게이션 데이터를 이용해 VAE와 GAN을 결합한 VAE/GAN 모델을 학습시킴으로써, 입력 이미지와 잠재 벡터 사이에 거리 구조가 자동으로 정렬되는 현상을 확인한다. 또한, 학습된 모델을 폐쇄 루프 형태로 반복 사용해 미래 장면을 예측·생성함으로써, 해마의 ‘리플레이/프리플레이’와 유사한 비정형 시퀀스를 생성한다는 점을 보여준다.

상세 분석

본 연구는 세 가지 핵심 기술적 기여를 제시한다. 첫째, VAE와 wGAN‑gp를 결합한 VAE/GAN 구조를 사용해 이미지 → 잠재벡터 → 이미지의 순환 과정을 학습시켰다. 여기서 VAE는 입력 프레임을 저차원 정규분포(잠재공간)로 압축하고, GAN은 디코더가 생성한 이미지가 실제와 구별되지 않도록 판별자를 통해 정교화한다. 저자는 잠재공간 차원을 5, 10, 20으로 변형하고, 예측 시점 τ를 0, 5, 30 프레임으로 설정해 다양한 조건을 비교하였다.

둘째, 잠재벡터 간 거리 행렬과 원본 이미지·예측 이미지 간 거리 행렬 사이의 상관관계를 분석함으로써, τ가 클수록(특히 τ=30) 잠재공간이 목표 이미지의 거리 구조를 더 정확히 반영한다는 사실을 발견했다. 이는 VAE/GAN이 단순 재구성 손실을 넘어 미래 시각 정보를 내재화하고 있음을 의미한다. PCA 분석 결과, VAE/GAN이 VAE 단독보다 더 높은 누적 기여비를 보였으며, 2차원 주성분 공간에 매핑된 잠재벡터는 실제 환경의 궤적을 부드럽게 따라가면서도 좌·우 경로 간 차이를 명확히 구분한다.

셋째, 학습된 모델을 ‘폐쇄 루프’ 방식으로 재귀적으로 사용해 시퀀스를 생성했을 때, VAE만 사용한 경우는 거의 정확한 재현에 그쳤으나, GAN을 포함하면 생성 이미지에 잡음과 변형이 도입되어 기존 경험과는 다른 새로운 경로가 나타난다. 이는 해마의 리플레이가 단순 복제가 아니라 잠재적 탐색(프리플레이)과 유사한 ‘창의적 재생’ 메커니즘을 모델링할 수 있음을 시사한다. 또한, 잠재공간의 매끄러움(S_PCA)과 경로 이질성(d_LR) 지표를 통해 VAE/GAN이 더 높은 매끄러움과 낮은 경로 이질성을 유지함을 확인했다.

전반적으로 본 논문은 시각 정보만을 이용해 공간적 메트릭 없이도 잠재공간이 자동으로 자기 조직화되고, 이를 통해 미래 장면 예측 및 비정형 시퀀스 생성이 가능함을 실험적으로 입증한다. 이는 해마의 인지지도 형성 및 기억 재생 메커니즘을 인공신경망 차원에서 이해하는 데 중요한 단초를 제공한다.