서피스 연속성으로 구현한 고해상도 2D 가우시안 스플래팅

초록

SurfSplat은 2D 가우시안 스플래팅을 기반으로, 표면 연속성 사전과 강제 알파 블렌딩을 도입해 희소 이미지 입력만으로도 연속적인 3D 표면과 정밀한 텍스처를 실시간으로 복원한다. 또한 고해상도 렌더링 일관성(HRRC)이라는 새로운 평가 지표를 제시해 기존 방법이 놓치던 근접 뷰의 결함을 정량화한다.

상세 분석

본 논문은 기존 피드포워드 3D Gaussian Splatting(3DGS) 기반 재구성 방법이 갖는 두 가지 근본적인 한계를 정확히 짚어낸다. 첫째, 3DGS는 각 Gaussian을 독립적으로 예측하기 때문에 기하와 색상의 상관관계를 충분히 학습하지 못하고, 특히 희소 뷰 상황에서는 구형에 가까운 점 구름 형태로 수축한다. 이로 인해 표면이 끊어지거나 색 편향이 발생한다. 둘째, 기존 손실은 주로 이미지 재구성 손실에 의존해 고해상도 뷰에서 드러나는 미세한 기하 오류를 포착하지 못한다.

SurfSplat은 이러한 문제를 해결하기 위해 2D Gaussian Splatting(2DGS)을 기본 표현으로 채택한다. 2DGS는 화면에 투영된 타원형 스플래트 형태로, 각 픽셀에 대응되는 2D Gaussian이 직접 렌더링에 기여한다. 이 구조는 anisotropic(비등방성) 특성을 보다 효과적으로 활용할 수 있어, 깊이 방향의 얇은 표면을 정밀하게 모델링한다. 하지만 2DGS는 기하와 외관 속성이 강하게 결합돼 학습이 불안정해지는 단점이 있다.

이를 극복하기 위해 논문은 두 가지 핵심 메커니즘을 제안한다.

1. 표면 연속성 사전(Surface Continuity Prior): 이미지 공간에서 이웃 픽셀의 3D 위치를 이용해 로컬 표면 법선을 추정하고, 이를 Rodrigues 회전 공식에 적용해 각 Gaussian의 회전 행렬을 계산한다. 또한, 이웃 픽셀 간 거리로부터 스케일(σ_u, σ_v)을 초기값으로 추정하고, 네트워크가 예측하는 스케일 배율(ˆσ)과 곱해 최종 스케일을 얻는다. 이렇게 하면 회전과 스케일이 공간적으로 일관된 값을 갖게 되어, 연속적인 서피스가 자연스럽게 형성된다.
2. 강제 알파 블렌딩(Forced Alpha Blending): 투명도(α)가 과도하게 낮아지는 현상을 방지하기 위해, 학습 단계에서 알파 값을 인위적으로 감소시켜 모든 Gaussian이 렌더링에 기여하도록 만든다. 이는 특히 겹쳐지는 영역에서 색 편향을 완화하고, 표면에 존재하는 작은 구멍을 메우는 효과가 있다.

네트워크 아키텍처는 듀얼‑패스 인코더를 사용한다. 하나는 사전 학습된 단일 뷰 깊이 추정 모델(Depth Anything V2)으로부터 깊이와 전역 특징을 추출하고, 다른 하나는 다중 뷰 이미지에 대해 self‑/cross‑attention을 적용해 비용 볼륨을 생성한다. 두 흐름을 결합한 뒤 2D U‑Net을 통해 중간 속성(깊이, 스케일 배율, 구면 조화, 불투명도 등)을 예측하고, 앞서 정의한 연속성 사전과 알파 블렌딩을 적용해 최종 2D Gaussian 파라미터를 얻는다.

평가 측면에서 저자는 **HRRC(High‑Resolution Rendering Consistency)**라는 새로운 지표를 도입한다. 기존 PSNR, SSIM, LPIPS와 같은 이미지‑기반 메트릭은 원본 해상도와 근접 뷰에서만 성능을 측정하지만, HRRC는 모델을 고해상도(예: 4K)로 렌더링하고, 다양한 카메라 위치·시점에서 일관성을 측정한다. 이를 통해 표면 연속성이 깨지는 미세한 결함을 정량화할 수 있다.

실험 결과는 RealEstate10K, DL3DV, ScanNet 세 데이터셋에서 기존 피드포워드 3DGS 기반 방법(PixelSplat, MVSplat 등)보다 모든 표준 메트릭과 HRRC에서 우수함을 보여준다. 특히 근접 뷰에서 색 편향과 구멍이 현저히 감소했으며, 렌더링 속도는 여전히 밀리초 수준으로 실시간 응용에 적합하다.

전체적으로 SurfSplat은 2DGS의 높은 기하 정밀도와 표면 연속성 사전·강제 알파 블렌딩이라는 두 가지 학습 안정화 기법을 결합해, 희소 뷰 입력에서도 연속적이고 고품질의 3D 장면을 빠르게 생성한다는 점에서 기존 연구에 비해 큰 진전을 이룬다.