희소 뷰 3D 스플래팅을 위한 구조적 초가우시안 모델링 COSMOS

초록

COSMOS는 3D Gaussian Splatting(3DGS)의 희소 뷰 학습 문제를 해결하기 위해 초가우시안 그룹을 정의하고, 그룹 간 전역 자기‑주의와 개별 가우시안 간 희소 로컬 어텐션을 결합한다. 그룹 내부에서는 위치 정규화를 적용해 플로터 현상을 억제하고, 구조적 일관성을 강화한다. 외부 깊이 지도 없이도 Blender와 DTU 데이터셋에서 3~4장의 입력 이미지만으로 최첨단 성능을 달성한다.

상세 분석

본 논문은 3D Gaussian Splatting(3DGS)이 희소한 입력 뷰에서 과적합과 구조 붕괴를 겪는 근본 원인을 “포토메트릭 손실만 사용하고 3D 구조 priors가 결여돼 있다”는 점으로 규정한다. 이를 해결하기 위해 저자들은 3D 포인트 클라우드 분야의 superpoint 개념을 차용해 ‘초가우시안(supergaussian)’이라는 새로운 그룹화 메커니즘을 제안한다. 구체적으로, 각 가우시안에 대해 선형성(linearity), 산란(scattering), 수직성(verticality), 평면성(planarity) 등 로컬 기하학적 디스크립터와 색상·스케일·위치를 결합한 피처 벡터를 구성하고, ℓ₀‑Cut pursuit 알고리즘을 이용해 수십 개의 초가우시안 그룹으로 클러스터링한다.

그룹화된 구조 위에 두 단계의 어텐션을 적용한다. 첫 번째는 초가우시안 수준에서 전역 자기‑주의(global self‑attention)이다. 그룹별 max‑pooling으로 대표 피처를 추출하고, 위치 인코딩을 적용한 뒤 query, key, value를 생성해 스케일드 닷‑프로덕트 어텐션을 수행한다. 이 과정은 전체 가우시안 수가 수십만 개에 달해도 초가우시안 수가 수십 수준으로 제한되므로 계산 비용이 크게 감소한다. 두 번째는 개별 가우시안에 대해 10개의 최근접 이웃만을 대상으로 하는 희소 로컬 어텐션(sparse local attention)이다. 로컬 어텐션은 고주파 디테일과 미세한 공간 변화를 포착해 전역 어텐션이 놓칠 수 있는 정보를 보완한다. 두 어텐션의 출력을 concat하여 통합 3D 피처를 만든 뒤, 각각 위치·방향·스케일·색상·불투명도 예측을 담당하는 Residual MLP에 입력한다.

구조적 일관성을 유지하기 위해 초가우시안 내부에 ‘위치 정규화(positional regularization)’ 손실을 도입한다. 이는 같은 그룹에 속한 가우시안들의 위치 편차를 최소화하도록 제약함으로써 플로터(floater)라 불리는 비정상적인 가우시안이 자유롭게 떠다니는 현상을 억제한다. 결과적으로 희소 뷰 상황에서도 모델이 전역적인 형태를 유지하면서 세부 디테일을 복원할 수 있다.

실험에서는 Blender와 DTU 데이터셋에서 3~4장의 입력 이미지만을 사용했음에도 불구하고, 기존 최첨단 방법들(예: Depth‑supervised, Pseudo‑depth 기반 접근)보다 PSNR, SSIM, LPIPS 지표에서 모두 우수한 성능을 기록했다. 특히 외부 깊이 지도 없이도 구조적 붕괴 없이 안정적인 학습이 가능함을 보여준다.

이 논문의 핵심 기여는 (1) 3DGS에 구조적 priors를 도입한 초가우시안 그룹화, (2) 그룹‑레벨 전역 어텐션과 로컬 희소 어텐션을 효율적으로 결합한 하이브리드 피처 학습, (3) 그룹 내부 위치 정규화로 플로터 억제, (4) 깊이 감독 없이도 희소 뷰에서 기존 방법들을 능가하는 성능을 달성한 점이다. 이러한 설계는 3DGS의 확장성을 크게 높이며, 향후 동적 씬, 대규모 장면, 멀티‑모달 통합 등 다양한 응용 분야에 적용 가능성을 시사한다.