다중 시점 일관성을 갖춘 3D 가우시안 초고해상도 복원: 에피폴라 가이드

초록

**
본 논문은 저해상도(LR) 이미지로 학습된 3D Gaussian Splatting(3DGS) 모델을 고해상도(HR) 렌더링에 적합하도록 변환하는 새로운 초고해상도(SR) 프레임워크 MVGSR을 제안한다. 카메라 포즈 기반 보조 뷰 선택과 에피폴라 제약 다중‑뷰 어텐션을 결합해, 임의의 다중‑뷰 데이터셋에서도 시점 간 일관성을 유지하면서 고주파 디테일을 효과적으로 복원한다. 실험 결과, 객체 중심 및 장면 수준 모두에서 기존 방법들을 크게 앞선 성능을 보인다.

**

상세 분석

**
MVGSR은 3DGS 기반 신경 렌더링의 핵심 한계인 저해상도 입력으로부터 고해상도 텍스처를 재구성하지 못하는 문제를 해결한다. 기존의 단일 이미지 초고해상도(SISR) 기반 접근법은 각 뷰를 독립적으로 처리해 시점 간 텍스처 불일치를 초래하고, 비디오 SR 방식은 연속 프레임 가정에 의존해 무작위 다중‑뷰 데이터에 적용하기 어렵다. MVGSR은 이러한 두 접근법의 단점을 보완하기 위해 두 단계의 핵심 기술을 도입한다.

첫 번째는 카메라 포즈 기반 보조 뷰 선택이다. COLMAP 등으로 추정된 내·외부 파라미터를 이용해, 목표 뷰와 공간·방향적 유사성을 동시에 고려한다. 구체적으로, (1) 보조 카메라가 씬 중심에 더 가깝고, (2) 목표 뷰와 충분한 시야 겹침을 보이며, (3) 과도히 근접하지 않아 정보 중복을 방지한다는 세 가지 조건을 만족하는 후보를 필터링한다. 이후 위치 거리와 방향 코사인 유사도를 가중합한 복합 거리 Dᵢⱼ을 계산하고, 일정 간격으로 샘플링해 N개의 보조 뷰를 선택한다. 이 과정은 데이터셋이 무작위 순서이든, 촬영 순서가 없든 적용 가능하도록 설계되었다.

두 번째는 **에피폴라 제약 다중‑뷰 어텐션(EST)**이다. 각 RET(Residual Epipolar Transformer) 블록 내부에서 목표 뷰와 보조 뷰의 특징 맵을 에피폴라 라인에 투사한다. 에피폴라 기하학을 활용해 두 이미지 간 대응점을 제한함으로써, 시점 간 기하학적 불일치가 큰 영역을 자동으로 배제한다. 이렇게 얻어진 정밀한 매칭은 어텐션 가중치에 직접 반영돼, 보조 뷰의 유용한 고주파 정보를 선택적으로 집합한다. EST는 기존 전역 어텐션에 비해 연산량을 크게 줄이면서도, 시점 간 일관성을 강화한다.

네트워크 구조는 크게 MVFE(다중‑뷰 특징 추출) → SIP(단일 이미지 사전) → MSFF(다중 스케일 특징 융합) 로 구성된다. MVFE는 세 단계의 RET 블록으로 다중 해상도에서 보조 뷰 특징을 추출하고, SIP는 사전 학습된 SwinIR을 이용해 목표 뷰의 단일 이미지 디테일을 보강한다. 마지막 MSFF 단계에서는 각 스케일에서 MVFE와 SIP의 특징을 채널 차원으로 결합하고, 점진적인 업샘플링을 통해 최종 HR 이미지를 생성한다.

학습 단계에서는 초해상도 이미지와 원본 LR 이미지를 모두 사용해 3DGS 파라미터를 최적화한다. 특히, anti‑aliasing sub‑pixel loss를 도입해 서브픽셀 수준의 정밀도를 확보하고, HR 텍스처가 3DGS의 가우시안 프리미티브에 정확히 매핑되도록 한다.

실험에서는 Blender의 객체 중심 데이터셋과 LLFF·Tanks & Temples 같은 장면 수준 데이터셋을 활용했다. PSNR/SSIM 기준에서 기존 SISR‑기반 SRGS, GaussianSR, SuperGS, 그리고 비디오 SR 기반 SM을 모두 능가했으며, 특히 시점 간 색상·구조 일관성에서 눈에 띄는 개선을 보였다. Ablation 연구를 통해 보조 뷰 선택 전략, EST 모듈, 그리고 SIP와의 결합 효과를 각각 검증하였다.

요약하면, MVGSR은 (1) 카메라 포즈 기반 효율적인 보조 뷰 선택, (2) 에피폴라 기하학을 활용한 저비용 다중‑뷰 어텐션, (3) 강력한 단일 이미지 사전과의 융합이라는 세 축을 통해 3DGS의 HR 재구성을 크게 향상시킨다. 이는 무작위 다중‑뷰 데이터셋에서도 높은 텍스처 디테일과 시점 일관성을 동시에 달성할 수 있음을 입증한다.

**