머리 움직임 예측으로 구현하는 초저지연 클라우드 볼류메트릭 비디오 스트리밍

본 논문은 고연산력을 요구하는 볼류메트릭 비디오의 실시간 스트리밍을 위해 클라우드 기반 렌더링 시스템을 제안하고, 이때 발생하는 불가피한 지연을 사용자 머리 움직임 예측으로 상쇄하는 방법론을 탐구한다. 서론에서는 VR/AR 시장의 성장과 함께 6자유도를 제공하는 볼류메트릭 비디오의 중요성이 부각되고 있음을 지적한다. 하지만 풍부한 볼류메트릭 객체를 렌더링하는 것은 모바일 엔드 디바이스에게 여전히 버거운 과제이며, 전용 하드웨어 디코더의 부재와 소프트웨어 디코딩의 높은 비용이 장애물로 작용한다. 이를 해결하기 위해 렌더링 부하를 클라우드 서버로 오프로딩하고, 결과적인 2D 뷰만 비디오 스트림으로 클라이언트에 전송하는 원격 렌더링 방식을 채택했다. 그러나 이 방식은 네트워크 왕복 시간과 서버 측 처리(렌더링, 인코딩)로 인해 '모션-투-포톤' 지연을 증가시켜 사용자에게 멀미나 불쾌감을 유발할 수 있다는 근본적인 한계가 있다. 배경 섹션에서는 볼류메트릭 비디오 스트리밍, 클라우드 렌더링 시스템, 머리 움직임 예측 기술에 대한 선행 연구를 검토한다. 기존 연구는 주로 360도 비디오를 위한 3자유도 회전 예측에 집중되어 있으며, 6자유도 운동을 예측하는 연구는 미비한 상태임을 지적한다. 시스템 아키텍처는 서버 측과 클라이언트 측으로 구분되어 상세히 설명된다. 서버 측은 Unity로 구현된 볼류메트릭 비디오 플레이어와 C++로 작성된 크로스 플랫폼 클라우드 렌더링 라이브러리로 구성된다. 라이브러리에는 WebSocket 서버(시그널링 및 제어 데이터 전송), GStreamer 기반 미디어 파이프라인(비디오 인코딩 및 WebRTC 스트리밍), 제어 모듈, 그리고 핵심인 예측 엔진이 포함된다. 클라이언트 측은 JavaScript 웹 플레이어 또는 Microsoft HoloLens 네이티브 애플리케이션으로 구현되어, 서버로부터의 제어 데이터 전송과 수신된 비디오 스트림의 디코딩 및 디스플레이 역할을 담당한다. 논문의 중점 분석 대상인 모션-투-포톤 지연은 서버 지연(T_rend + T_enc), 네트워크 지연(T_up + T_down + T_trans), 클라이언트 지연(T_dec + T_disp)의 합으로 정의된다. 이 중 인코더 지연(T_enc)에 특별한 주의를 기울여, NVENC, x264, x265, Intel SVT-HEVC 등 다양한 인코더의 저지연 프리셋 성능을 FFmpeg 벤치마크를 통해 비교 평가한다. 이를 통해 시스템의 전체 지연 시간을 정량화하고 최적화 포인트를 찾고자 한다. 이러한 지연을 보상하기 위한 핵심 솔루션으로 6자유도 머리 움직임 예측 모델이 제시된다. 예측 엔진은 회귀 기반 방법을 구현하여, 과거의 사용자 입력을 기반으로 미래의 특정 시점(Look-Ahead Time)에서의 사용자 포즈(위치 및 방향)를 예측한다. 서버는 이 예측된 포즈를 바탕으로 장면을 렌더링하고 인코딩하여 전송함으로써, 데이터가 클라이언트에 도착할 시점에는 사용자의 실제 포즈와 예측 포즈가 일치하도록 하여 지연을 효과적으로 '없애는' 효과를 노린다. 결론적으로, 이 연구에서 개발한 시스템과 예측 모델은 기존 예측을 수행하지 않는 베이스라인 시스템과 비교했을 때, M2P 지연으로 인한 렌더링 오류를 감소시키는 데 성공했음을 보여준다. 이는 클라우드 기반 고품질 볼류메트릭 비디오 서비스가 실현 가능함을 시사하며, 특히 대역폭과 연산 자원이 제한된 모바일 및 웨어러블 환경에서의 적용 가능성을 열어준다.