넥셀스 신경망 텍스처 서펠 실시간 새로운 시점 합성

초록

넥셀스는 서펠( surfel ) 기반 기하와 전역 신경 필드를 결합해 텍스처를 제공함으로써, 기존 3D 가우시안 스플래팅보다 훨씬 적은 프리미티브와 메모리로 실시간 새로운 시점 합성을 가능하게 한다. outdoor 장면에서는 프리미티브를 9.7배, indoor 장면에서는 31배 감소시키면서도 시각 품질은 동등하거나 향상된다.

상세 분석

이 논문은 기존 3D Gaussian Splatting(3DGS)이 텍스처와 기하를 하나의 프리미티브에 결합함으로써 고주파 텍스처를 재현하려면 수백만 개의 프리미티브가 필요하다는 근본적인 한계를 지적한다. 저자들은 이를 해결하기 위해 ‘넥셀스(Nexels)’라는 새로운 프리미티브를 제안한다. 넥셀스는 (i) 기하 표현으로 서펠을 사용하고, (ii) 외관 표현을 전역 신경 필드와 프리미티브 별 색상 두 가지 모드로 분리한다. 서펠은 일반적인 2D Gaussian 스플랫과 달리 γ 파라미터를 도입해 Gaussian에서 직사각형(quad) 형태로 점진적으로 변형될 수 있게 하여, 얇고 평면적인 표면을 효율적으로 모델링한다. γ≥1을 보장함으로써 C∞ 연속성을 유지하면서도 경계가 뚜렷한 텍스처를 표현한다.

외관 측면에서는 두 단계의 렌더링 파이프라인을 설계한다. 첫 번째 패스에서는 비텍스처 색상(기존 2DGS와 동일)을 사용해 기본 이미지를 생성하고, 각 픽셀당 가장 큰 알파 가중치를 가진 K개의 프리미티브를 버퍼에 저장한다. 두 번째 패스에서는 저장된 K개의 프리미티브에 대해 전역 신경 필드(Instant‑NGP 기반)를 쿼리해 뷰‑종속 텍스처를 얻고, 이를 초기 이미지에 합성한다. 이때 해시 그리드 피처에 초점 거리 기반 감쇠 Δ를 곱해 aliasing을 억제한다. K를 적게 설정해도 중요한 프리미티브만 선택되므로, 신경 필드 호출 횟수가 제한돼 실시간(30 FPS 이상) 렌더링이 가능하다.

학습 단계에서는 차등 밀도 제어와 다중 손실(색상 L2, 정규화, 깊이 일관성 등)을 적용해 서펠 위치와 γ 파라미터, 그리고 신경 필드 파라미터를 동시에 최적화한다. 결과적으로, outdoor 씬에서는 4400K 프리미티브(3DGS 대비 9.7배 감소)로 LPIPS 0.216을 달성하고, indoor 씬에서는 400K 프리미티브(31배 감소)로 유사한 LPIPS를 기록한다. 메모리 사용량도 각각 5.5배, 3.7배 절감되며, 렌더링 속도는 기존 텍스처 기반 프리미티브보다 2배 이상 빠르다.

이러한 설계는 (1) 기하와 외관을 명확히 분리해 파라미터 효율성을 극대화하고, (2) 전통적인 메쉬 텍스처링에서 영감을 얻은 ‘필요한 프리미티브에만 텍스처링’ 전략으로 연산량을 최소화한다는 점에서 혁신적이다. 또한, 해시 그리드 기반 신경 필드의 고해상도 텍스처를 프리미티브 수에 비례하지 않게 활용함으로써, 기존 NeST‑Splatting처럼 느린 렌더링 속도 문제를 회피한다.