VR 포털 전이 무감각화와 성능 최적화

초록

본 논문은 가상현실(VR) 환경에서 사용자가 포털을 통과할 때 시각적 불연속성을 최소화하는 기법을 제안한다. 포털을 단순 평면이 아닌 박스로 구현하고 백페이스 컬링을 활용해 양쪽 눈이 각각 다른 시점을 가질 때도 부드러운 전이를 보장한다. 또한 포털 렌더링이 GPU에 미치는 부하를 실험적으로 측정하고, 스텐실 버퍼와 싱글패스 인스턴싱을 이용한 최적화 방안을 제시한다.

상세 분석

이 논문은 VR에서 “불가능한 공간(impossible spaces)”을 구현하기 위한 핵심 기술인 포털 전이를 시각적으로 무감각하게 만드는 방법을 상세히 분석한다. 기존의 2D 포털은 단일 평면 퀘드로 이루어져 있어, 사용자가 포털을 가로지르는 순간 양안의 시점이 급격히 변하면서 눈에 띄는 플리커가 발생한다. 이를 해결하기 위해 저자는 포털을 3차원 박스로 확장하고, 각 면을 뒤쪽 방의 뷰텍스처로 채운다. 백페이스 컬링을 이용해 박스의 외부 면은 외부에서만 보이게 하고, 내부 면은 사용자가 포털 내부에 들어갔을 때도 올바른 방을 보여준다. 이렇게 하면 한 눈이 포털을 통과하기 전이라도 다른 눈이 이미 내부 뷰를 볼 수 있어 전이 과정이 매끄럽게 유지된다.

성능 측면에서는 포털당 두 개의 추가 카메라(좌·우 눈)와 각각의 렌더 패스가 필요해 GPU 부하가 급격히 증가함을 실험적으로 입증한다. GTX 1070 기준으로 포털 0개일 때 44.7 fps였으나, 6쌍의 포털을 활성화하면 10.3 fps로 급락한다. 특히 GPU 프레임 시간은 0.3 ms에서 78 ms로 250배 이상 늘어나며, 이는 텍스처 전송 및 다중 렌더 패스가 주요 원인임을 확인한다.

이를 완화하기 위한 두 가지 최적화 전략을 제시한다. 첫째, 스텐실 버퍼를 이용해 포털이 차지하는 화면 영역만 마스크하고 해당 영역에만 포털 뷰를 렌더링한다. 이렇게 하면 포털 수와 관계없이 그려지는 픽셀 수가 거의 일정하게 유지되어 비용이 크게 절감된다. 둘째, 싱글패스 인스턴싱을 활용해 좌·우 눈의 렌더링을 하나의 패스로 합치고, 씬 지오메트리를 GPU 메모리에 한 번만 배치한다. 이 방법은 멀티패스 방식에 비해 메모리 복제와 드로우 콜을 크게 줄여 주지만, 눈마다 포털 전이를 독립적으로 처리할 수 없다는 트레이드오프가 존재한다.

결론적으로, 포털을 3D 박스로 구현하고 백페이스 컬링을 활용하면 시각적 전이 문제를 효과적으로 해결할 수 있지만, 포털 수가 늘어날수록 GPU 부하가 급증한다. 스텐실 버퍼와 싱글패스 인스턴싱 같은 최적화 기법을 병행하면 실시간 VR 환경에서 다수의 포털을 유지하는 것이 가능해진다. 다만, 최적화 적용 시 눈별 전이 제어와 렌더링 정확도 사이의 균형을 신중히 고려해야 한다.