구조 인식·지역 우선 3D 가우시안으로 효율적인 장면 모델링

초록

본 논문은 3D Gaussian Splatting(3DGS)의 비효율성을 기하학적 관점에서 재조명하고, 구조‑aware 분포와 지역‑우선 최적화 두 가지 메커니즘을 결합한 Mini‑Splatting2 프레임워크를 제안한다. 구조‑aware 분포는 가우시안의 공간적 불규칙성을 해소하고 표현을 압축하며, 지역‑우선 최적화는 기하학적 중요도가 높은 영역에 학습 자원을 집중시켜 수렴 속도를 크게 높인다. 실험 결과, 기존 3DGS 대비 가우시안 수를 최대 4배 감소시키고 학습 시간을 3배 가량 단축하면서도 시각적 품질을 유지한다.

상세 분석

Mini‑Splatting2는 3D Gaussian Splatting이 사진 기반 손실에만 의존해 가우시안 위치를 조정함으로써 발생하는 두 가지 근본적인 비효율성을 해결한다. 첫 번째 문제는 “불규칙한 공간 분포”이다. 기존 3DGS는 이미지 그라디언트 크기에 따라 가우시안을 분할·복제·제거하는 로컬 밀도 제어 방식을 사용하지만, 이는 고대비 경계에만 집중하고 저대비 영역을 과소표현한다. 결과적으로 가우시안이 특정 영역에 과밀하게 몰리고, 다른 영역은 빈약하게 커버되어 메모리 사용량과 레스터화 비용이 비효율적으로 증가한다. 두 번째 문제는 “무차별적인 학습 동역학”이다. 모든 가우시안을 동일하게 업데이트하고, 시야에 보이지 않거나 기하학적으로 중요도가 낮은 가우시안에도 동일한 학습 비용을 할당한다. 이는 최적화 초기 단계에서 구조적 형태가 형성되는 속도를 저해하고, 전체 학습 시간을 불필요하게 늘린다.

Mini‑Splatting2는 이러한 문제를 해결하기 위해 두 개의 핵심 모듈을 설계한다. ① 구조‑aware 분포 모듈은 (a) Blur‑Split과 (b) Depth‑Reinitialization을 통해 저대비·흐릿한 영역을 자동으로 탐지하고, 해당 영역에 가우시안을 추가·재배치한다. Blur‑Split은 이미지 블러 레벨과 그라디언트 정보를 결합해 “커버 부족” 영역을 식별하고, 그곳에 새로운 가우시안을 삽입한다. Depth‑Reinitialization은 다중 뷰 깊이 추정을 통합해 깊이 오류가 큰 구역에 가우시안을 재배치함으로써 구조적 균형을 맞춘다. (c) Redundant Gaussian Simplification은 Intersection‑Preserving과 Primitive‑Sampling 두 단계로 구성된다. Intersection‑Preserving은 레이‑메시 교차 정보를 활용해 구조적으로 핵심적인 가우시안을 보존하면서 중복을 제거하고, Primitive‑Sampling은 확률적 샘플링을 적용해 전체 가우시안 수를 크게 줄이면서도 중요한 기하 정보를 유지한다.

② 지역‑우선 최적화 모듈은 (a) Aggressive Model Growth과 (b) Occluded Gaussian Culling으로 구성된다. Aggressive Model Growth는 Critical Gaussian Identification을 통해 재구성 기여도가 높은 가우시안을 선별하고, 해당 가우시안을 빠르게 복제(클론)하여 초기 단계에서 장면 커버리지를 급격히 확장한다. 이는 구조적 형태가 빠르게 형성되도록 돕는다. Occluded Gaussian Culling은 각 뷰에서의 가우시안 가시성을 블렌딩 가중치로 추정하고, 가시성이 낮은 가우시안을 학습 및 레스터화 과정에서 제외한다. 이렇게 하면 불필요한 연산을 크게 절감하고, 학습이 기하학적으로 의미 있는 영역에 집중된다.

실험에서는 다양한 공개 벤치마크(예: NeRF‑synthetic, Tanks‑and‑Temples 등)에서 Mini‑Splatting2가 가우시안 수를 평균 4배 감소시키고, 최적화 시간은 3배 가량 단축되었음에도 PSNR·SSIM 등 시각적 품질 지표는 기존 3DGS‑accel과 거의 동등하거나 약간 우수한 결과를 보였다. 특히 복잡한 경계와 저대비 영역에서 구조‑aware 분포가 가져오는 균형 잡힌 커버리지는 레이 트레이싱 비용을 감소시키고, 지역‑우선 최적화는 초기 수렴 속도를 크게 높여 전체 파이프라인의 효율성을 극대화한다.

이러한 설계는 3DGS를 순수히 사진 기반 손실에 의존하던 기존 방식에서 벗어나, 기하학적 정보를 명시적으로 활용함으로써 “표현 압축 ↔ 수렴 가속 ↔ 렌더링 품질”이라는 삼위일체 트레이드오프를 효과적으로 개선한다는 점에서 학술적·실용적 의의가 크다.