스테레오그램을 홀로그램으로 변환하는 기술

초록

본 논문은 스테레오 이미지 쌍으로부터 광학 흐름과 형태 변형(morphing)을 결합한 빠른 복원 알고리즘을 제안한다. 이를 통해 무안경형 Looking Glass 3D 모니터에 적합한 다중 시점(LF) 영상을 자동 생성하고, 실시간 스트리밍을 위한 LUT 기반 최적화 방안을 논의한다.

상세 분석

이 연구는 기존 스테레오 복원 방식이 갖는 깊이 정밀도와 시점 전환의 부드러움 부족 문제를 해결하고자, 강인한 광학 흐름(Robust Optical Flow)과 형태 변형(Morphing) 기법을 융합하였다. 먼저, 좌·우 이미지 사이의 픽셀 대응을 찾기 위해 다중 스케일 피라미드와 정규화 상관관계 기반의 광학 흐름을 적용한다. 여기서 ‘Robust’라는 명칭은 조명 변화, 텍스처 부족, 경계 흐림 등에 대한 정규화와 outlier 제거 절차를 포함한다는 의미이며, 기존 Lucas‑Kanade나 TV‑L1 흐름보다 높은 재현성을 보인다.

다음 단계에서는 획득된 흐름 필드를 연속적인 변형장(morphing deformation field)으로 변환한다. 이 변형장은 단순한 깊이 맵을 넘어, 각 픽셀에 대한 3‑차원 위치와 방향 정보를 제공한다. 변형장을 이용해 원본 스테레오 쌍을 다중 시점 이미지로 재샘플링함으로써, 실제 광장면(lightfield)과 유사한 4‑D 데이터 집합을 생성한다. 이 과정에서 보간은 고차원 B‑spline을 사용해 시점 간 부드러운 전환을 보장한다.

생성된 라이트필드 데이터는 헤드셋이 없는 Looking Glass 3D 디스플레이에 직접 매핑된다. 디스플레이는 사전 캘리브레이션된 렌즈 배열을 통해 각 시점 영상을 물리적 파라볼라 형태로 분산시키므로, 관찰자는 눈의 움직임에 따라 자연스러운 입체감을 경험한다. 논문은 이러한 파이프라인을 ‘unsupervised multiview synthesis’라 명명하고, 별도의 깊이 센서 없이도 실시간에 가까운 속도로 30 fps 수준의 프레임을 생성할 수 있음을 실험으로 입증한다.

또한, 실시간 스트리밍을 위한 최적화 방안으로, 변형장과 라이트필드 샘플링 매핑을 사전 계산한 Look‑Up‑Table(LUT) 형태로 압축 저장한다. LUT는 압축률 10배 이상을 달성하면서도 재구성 품질 저하가 미미하고, 네트워크 전송 시 대역폭 요구를 크게 낮춘다. 이는 모바일 혹은 클라우드 기반 3D 콘텐츠 전송에 유용한 설계이다.

핵심 기여는 다음과 같다. (1) 스테레오 쌍만으로도 고품질 라이트필드 영상을 생성하는 통합 파이프라인, (2) 강인한 광학 흐름과 형태 변형을 결합한 깊이‑무관 복원 방식, (3) LUT 기반 실시간 스트리밍 최적화. 한계점으로는 텍스처가 거의 없는 균일 표면에서 흐름 추정이 불안정하고, 매우 큰 시점 간격을 요구하는 경우 보간 오류가 눈에 띈다. 향후 연구에서는 딥러닝 기반 흐름 초기화와 적응형 샘플링 전략을 도입해 이러한 약점을 보완할 수 있을 것으로 기대된다.