실시간 비디오 모션 전송을 위한 GRU SNF 추론 시 확률적 정제

초록

본 논문은 기존 GRU‑Normalizing Flow(GRU‑NF) 모델에 추론 단계에서 마코프 체인 몬테카를로(MCMC) 샘플링을 추가한 GRU‑Stochastic Normalizing Flow(GRU‑SNF)를 제안한다. 키포인트 기반 모션 전송 파이프라인에 적용해, 동일한 입력 시퀀스로부터 다중의 시간적으로 일관된 미래 궤적을 생성한다. 실험 결과, VoxCeleb와 BAIR 데이터셋에서 예측 정확도는 유지하면서 다양성(energy distance, APD)과 다양성‑정밀도 비율이 크게 향상됨을 보였다.

상세 분석

이 연구는 시계열 예측에서 멀티모달성을 확보하기 위한 두 가지 핵심 아이디어를 결합한다. 첫 번째는 GRU‑NF 구조로, GRU가 시간 의존성을 학습하고 Normalizing Flow(NF)가 정확한 로그우도와 역변환 가능성을 제공한다. 그러나 NF의 가역성 제약은 서로 멀리 떨어진 모드 사이를 매끄럽게 연결하기 어렵게 만들며, 특히 장기 예측 시 모드 커버리지가 감소한다는 한계가 있다. 두 번째는 Stochastic Normalizing Flow(SNF)의 개념을 차용해, 학습 단계가 아닌 추론 단계에서 확률적 정제를 수행한다는 점이다. 구체적으로, 각 NF 레이어의 출력에 대해 잠재 공간에서 제안 분포(보통 평균이 현재 상태인 가우시안)를 샘플링하고, Metropolis‑Hastings 수용 확률을 이용해 새로운 상태를 받아들인다. 여기서 사용되는 에너지 함수 uₗ(y)는 두 부분의 가중합으로 구성된다. (1) 표준 정규분포에 대한 prior energy u_Z(y)=½‖y‖²와 (2) GRU‑NF가 예측한 deterministic output y_GRU와 현재 NF 출력 y_k 사이의 L2 거리 기반 target energy u_X(y)=‖y_GRU−y_k‖²이다. λ은 레이어 인덱스에 비례해 선형적으로 변하며, 이를 통해 흐름 초반에는 prior에, 후반에는 target에 더 큰 영향을 주어 점진적인 정제가 이루어진다.

MCMC 단계는 각 타임스텝당 m=2번 수행되며, 이는 실시간 요구사항을 만족할 정도로 가볍다. 정제된 샘플은 다음 NF 레이어로 전달되어 전체 시퀀스가 완성된다. 이 과정은 모델 파라미터를 전혀 변경하지 않으며, 기존에 학습된 GRU‑NF를 그대로 재사용한다는 장점이 있다.

실험에서는 키포인트 예측 정확도를 평가하기 위해 energy distance를 사용했고, 비디오 수준에서는 평균 절대 오차(MAE)와 평균 쌍거리(APD)를 정규화 후 APD/MAE 비율로 종합 평가하였다. VoxCeleb와 BAIR 두 데이터셋 모두에서 GRU‑SNF는 GRU‑NF 대비 에너지 거리에서 5~10% 정도 감소했으며, 특히 장기 예측(예: 6‑18 프레임)에서 다양성‑정밀도 비율이 30% 이상 향상되었다. 시각적 결과에서도 얼굴 표정이나 물체 움직임이 보다 다양하게 표현되었으며, 키포인트 기반 전송 파이프라인에서 대역폭 절감 효과와 함께 실시간성을 유지할 수 있었다.

이 논문의 주요 기여는 (1) 학습 후에도 모델의 멀티모달성을 강화할 수 있는 추론‑시 정제 메커니즘을 제시한 점, (2) 에너지 함수에 GRU‑NF의 예측을 활용해 시간적 일관성을 보존하면서도 모드 탐색을 촉진한 점, (3) 키포인트 기반 비디오 모션 전송이라는 실용적 응용 분야에 적용해 실시간 성능과 품질을 동시에 달성한 점이다. 향후 연구에서는 제안된 MCMC 단계의 수와 제안 분포를 자동으로 최적화하거나, 보다 복잡한 비디오 생성 모델(예: diffusion 기반)과 결합해 확장성을 검증할 수 있다.