실시간 VR 복원을 위한 흐름 인식 확산 공간 시간 일관성 및 효율성 향상

초록

본 논문은 사이버멀미를 유발하는 과도한 광학 흐름을 실시간으로 억제하기 위해, 이미지 레벨에서 동작하는 경량 AI 모듈 U‑MAD를 제안한다. U‑MAD는 Mamba 기반의 U‑형 확산 네트워크에 광학 흐름 인코더와 전역·후행 시간 컨텍스트 모듈을 결합해, 고품질 VR 프레임을 복원하면서 평균 흐름 크기를 감소시키고 시간적 일관성을 강화한다. 실험과 사용자 연구를 통해 광학 흐름 감소가 시각적 편안함을 향상시키고 사이버멀미 증상을 완화함을 입증한다.

상세 분석

U‑MAD는 기존의 하드웨어 기반 혹은 기하학적 씬 단순화 방법과 달리, 렌더링된 이미지 자체를 직접 처리한다는 점에서 혁신적이다. 핵심은 Mamba라는 상태공간(sequence) 모델을 활용한 U‑형 인코더‑디코더 구조이며, 이는 긴 시계열 의존성을 효율적으로 포착한다. 논문은 Mamba 블록을 확산 과정에 삽입함으로써, 전통적인 CNN‑기반 확산보다 메모리와 연산량을 크게 절감하면서도 고해상도 프레임을 실시간으로 복원할 수 있음을 보여준다.

광학 흐름은 별도의 흐름 인코더를 통해 임베딩된 뒤, 조건 신호로 Mamba 백본에 주입된다. 이는 “흐름‑조건부 디노이징”이라는 형태로, 모델이 시간적 일관성을 손실 없이 흐름을 억제하도록 학습한다. 흐름 자체를 손실 함수에 포함시키는 것이 아니라, 흐름 임베딩을 컨텍스트로 활용함으로써, 흐름을 완전히 제거하지 않고 인간의 감각에 불쾌감을 주는 고강도 영역만 선택적으로 감소시킨다.

전역 컨텍스트 모듈(GCM)은 전체 프레임을 저해상도로 다운샘플링해 전역 구조 정보를 제공한다. 이는 고해상도 패치 기반 처리 시 발생할 수 있는 경계 효과와 전역 일관성 손실을 보완한다. 후행 시간 컨텍스트 모듈(PTCM)은 목표 프레임 이후의 프레임들을 활용해 단기적인 움직임 패턴을 강화한다. 두 모듈 모두 경량화된 Temporal‑Spatial Convolution(TSC) 블록을 사용해 모바일 디바이스에서도 실행 가능하도록 설계되었다.

실험에서는 평균 광학 흐름 크기, PSNR/SSIM 등 전통적인 영상 복원 지표와 함께, 시간적 변동성을 측정하는 T‑Metric을 도입해 정량적 개선을 입증한다. 특히, 다양한 절차적 생성 환경과 복잡한 씬에서도 흐름 억제 효과가 일관되게 나타났으며, 이는 모델이 씬‑특정 사전 처리를 필요로 하지 않음을 의미한다.

사용자 연구에서는 30명 이상의 피험자를 대상으로 사전·사후 설문과 SSQ(Simulator Sickness Questionnaire) 점수를 수집하였다. U‑MAD 적용 시 평균 SSQ 점수가 22% 감소했으며, 주관적 편안함 점수는 통계적으로 유의미하게 상승했다. 이는 광학 흐름 감소가 실제 인지적 불편감 완화에 직접 연결된다는 강력한 증거다.

한계점으로는 흐름 억제가 과도하게 적용될 경우 주변 시야의 시각적 디테일이 손실될 가능성이 있다는 점이다. 논문에서는 이를 완화하기 위해 주변 흐름 강도에 비례한 가중치를 적용했지만, 고속 움직임이나 급격한 씬 전환 시 잔여 흐름이 충분히 보존되지 않을 위험이 남아 있다. 또한, 현재는 훈련 시에만 사용 가능한 고해상도 ‘클린 레퍼런스’를 필요로 하므로, 완전한 무감독 실시간 적용을 위해서는 자체적인 자기 지도 학습 기법이 추가되어야 할 것이다.

전반적으로, U‑MAD는 확산 모델에 흐름‑조건부 학습을 결합한 최초의 시도 중 하나이며, 실시간 VR 환경에서 사이버멀미를 감소시키는 실용적인 솔루션으로 평가된다. 향후 연구에서는 멀티모달(예: vestibular 센서) 피드백을 통합하거나, 흐름 억제 강도를 사용자 맞춤형으로 동적으로 조절하는 메커니즘을 도입함으로써, 더욱 정교한 개인화 경험을 제공할 수 있을 것으로 기대된다.