대규모 야외 장면을 위한 구조·시점 협업 가우시안 스플래팅 SplatCo

초록

SplatCo는 전역 tri‑plane 표현과 지역 컨텍스트 그리드 특징을 계층적 보상 메커니즘으로 결합한 구조‑시점 협업 가우시안 스플래팅 프레임워크이다. 교차‑시점 프루닝으로 과잉 가우시안을 제거하고, 구조‑시점 공동 학습으로 기하·색상 파라미터를 안정적으로 최적화한다. 13개의 대규모 야외 데이터셋에서 기존 3DGS 기반 방법들을 크게 앞서며, 실시간 렌더링과 높은 디테일 보존을 동시에 달성한다.

상세 분석

SplatCo는 대규모 무한 장면을 고품질로 렌더링하기 위해 3가지 핵심 모듈을 설계하였다. 첫 번째인 Cross‑Structure Collaboration Module(CSCM)은 전역적인 장면 레이아웃을 포착하는 tri‑plane 특징과, 세밀한 지역 디테일을 제공하는 컨텍스트 그리드 특징을 계층적 보상(Hierarchical Compensation) 방식을 통해 융합한다. 이 과정에서 tri‑plane에서 추출된 저해상도 전역 피처가 컨텍스트 그리드의 고해상도 피처를 보정하고, 반대로 로컬 그리드가 전역 피처의 빈틈을 메워 전반적인 공간 일관성을 유지한다. 보상 단계는 세 레벨(코어, 중간, 세부)로 구성되어, 각 레벨에서의 오차를 점진적으로 감소시키며 가우시안 파라미터(위치, 스케일, 회전, 색상)의 업데이트에 반영한다.

두 번째인 Cross‑View Pruning Mechanism(CVPM)은 구조적 일관성을 기준으로 가우시안을 선택적으로 제거한다. 구체적으로, 각 가우시안에 대해 다중 시점에서의 투영 일관성 손실(L_CVC)을 계산하고, 일정 임계값 이하의 일관성을 보이는 가우시안을 ‘과적합’ 혹은 ‘기하학적으로 부정확’하다고 판단한다. 이후 가우시안의 가중치와 투명도 파라미터를 조정하거나 완전히 삭제함으로써 메모리 사용량을 크게 절감하고, 렌더링 시 발생할 수 있는 유령(ghost) 현상이나 텍스처 플리커링을 방지한다.

세 번째인 Structure‑View Co‑learning(SVC) 모듈은 구조적 그래디언트와 시점 그래디언트를 동시에 활용한다. 기존 3DGS는 주로 뷰‑별 색상 손실에 의존해 가우시안을 최적화했지만, 이는 기하학적 왜곡에 취약했다. SVC는 tri‑plane 및 컨텍스트 그리드에서 추출된 구조적 그래디언트를 뷰 손실 그래디언트와 가중합하여, 위치·스케일·회전 파라미터의 업데이트에 구조적 신호를 직접 주입한다. 이로써 훈련 초기 단계에서 급격한 기하학적 변형을 억제하고, 전체 장면에 걸친 일관된 세부 묘사를 가능하게 한다.

실험에서는 Mill‑19, MatrixCity, Thanks & Temples, WHU 등 13개의 다양한 대규모 야외 데이터셋에 대해 PSNR, SSIM, LPIPS 등 3가지 표준 지표를 측정하였다. SplatCo는 평균 PSNR 23.0 dB, SSIM 0.76, LPIPS 0.27을 기록했으며, 이는 최신 3DGS 기반 방법들(예: CityGS‑X, MVGS, Scaffold‑GS)보다 각각 0.8–2.5 dB, 0.02–0.05, 0.05–0.1 정도 향상된 수치다. 정성적 비교에서도 건물 파사드와 복잡한 식생 영역에서 텍스처 디테일이 뚜렷히 보존되며, 기존 방법에서 흔히 나타나는 흐릿함이나 가우시안 과밀 현상이 현저히 감소하였다. 또한, CVPM 덕분에 평균 가우시안 수가 30 % 이상 감소했음에도 실시간(>30 FPS) 렌더링 속도를 유지하였다.

SplatCo는 단일 소비자급 GPU(예: RTX 3080)에서도 훈련이 가능하도록 메모리 효율성을 설계했으며, 코드와 데이터셋을 공개함으로써 재현성을 확보하였다. 한계점으로는 매우 고밀도 도시 환경에서 tri‑plane의 축 정렬 특성으로 인한 경계 아티팩트가 일부 남을 수 있고, 현재 구현이 아직 다중 GPU 분산 훈련을 지원하지 않아 초대형(수십억 가우시안) 씬에 대한 확장성은 추가 연구가 필요하다.