산만물 없는 일반화 3D 가우시안 스플래팅

초록

DGGS는 일반화 가능한 3D 가우시안 스플래팅에서 발생하는 일시적인 객체(산만물) 문제를 해결한다. 훈련 단계에서 레퍼런스 기반 마스크 예측·정제 모듈을 도입해 산만물을 자동으로 걸러내고, 추론 단계에서는 두 단계의 레퍼런스 스코어링·재선택과 산만물 프루닝을 통해 아티팩트와 구멍을 최소화한다. 실험 결과, 기존 씬‑특정 방법을 넘어서는 마스크 정확도와 재구성 품질을 달성한다.

상세 분석

DGGS는 기존 일반화 3D Gaussian Splatting(3DGS) 파이프라인이 실세계 촬영에서 흔히 발생하는 일시적 객체, 즉 산만물에 취약하다는 점을 지적한다. 산만물은 레퍼런스 이미지와 쿼리 이미지 사이의 3D 기하 일관성을 깨뜨려 훈련 손실을 왜곡하고, 추론 시에는 잘못된 가우시안 프리미티브가 남아 시각적 아티팩트를 만든다. 이를 해결하기 위해 DGGS는 두 가지 핵심 모듈을 설계한다. 첫 번째는 훈련 단계의 “레퍼런스 기반 마스크 예측 및 정제”이다. 초기 로버스트 마스크(M_Rob)는 기존 히스토그램 기반 외곽값 검출 방식으로 생성되지만, 이는 정적 영역까지 오인식할 위험이 있다. DGGS는 레퍼런스 이미지들을 3DGS로 재구성하고, 재렌더링된 레퍼런스에서 비산만 영역을 추출한다. 이 비산만 마스크를 쿼리 뷰에 워핑하여 M_Rob을 정제하고, 남은 불확실 영역은 사전 학습된 세그멘테이션(SAM 등)과 깊이 차이(disparity) 마스크를 결합해 최종 마스크(M)를 만든다. 정제 과정은 “마스크 재정제 모듈”에서 수행되며, 여기서는 오클루전 영역을 보조 손실로 감독한다. 두 번째는 추론 단계의 “두 단계 레퍼런스 스코어링·재선택 및 산만물 프루닝”이다. 첫 단계에서는 다수의 후보 레퍼런스를 평가하기 위해 예측된 마스크를 활용해 각 레퍼런스의 산만물 비율과 시점 차이를 스코어링한다. 스코어가 낮은 레퍼런스만을 선택해 3DGS 속성을 추정하고, 두 번째 단계에서는 선택된 레퍼런스로부터 생성된 가우시안 프리미티브 중 산만물과 연관된 프리미티브를 추가적인 프루닝 네트워크로 제거한다. 이 과정은 잔여 고스트 아티팩트를 크게 감소시킨다. 실험에서는 실제 야외·실내 데이터와 Re10K·ACID 기반 합성 데이터 모두에서 DGGS가 기존 일반화 3DGS 모델 대비 훈련 안정성, 마스크 정확도, 최종 렌더링 PSNR/SSIM 등에서 일관된 개선을 보였으며, 특히 씬‑특정 산만물 제거 방법을 능가하는 성능을 기록했다. 전체 설계는 별도의 씬‑특정 사전 처리 없이도 완전한 피드포워드 방식으로 동작한다는 점에서 실시간 모바일 3D 재구성에 큰 잠재력을 가진다.