카메라·학습 없이 빠른 3D 가우시안 스플래팅 분할: 베타‑베르누이 베이지안 업데이트와 정보 이득 기반 뷰 선택

초록

**
B³‑Seg는 3D Gaussian Splatting(3DGS) 자산을 사전 카메라 정보나 추가 학습 없이도 몇 초 만에 텍스트 기반으로 분할한다. 베타‑베르누이 베이지안 모델로 각 가우시안을 확률적으로 표현하고, 분석적인 기대 정보 이득(EIG)으로 가장 유익한 뷰를 순차적으로 선택한다. 이론적으로 적응형 단조성·감쇠성(서브모듈러리티)을 보장해 그리디 선택이 최적 정책의 (1‑1/e) 근사임을 증명한다. 실험 결과, 기존 고비용 감독 방법과 경쟁적인 정확도를 달성하면서 실시간 수준의 속도를 유지한다.

**

상세 분석

**
본 논문은 3D Gaussian Splatting(3DGS)이라는 고품질 실시간 렌더링 표현을 대상으로, 사전 정의된 카메라 경로나 라벨이 전혀 없는 상황에서도 인터랙티브하게 객체를 분할할 수 있는 방법을 제시한다. 핵심 아이디어는 두 단계로 구성된다. 첫째, 각 가우시안 (g_i) 에 대해 존재 여부를 베르누이 변수 (y_i) 로 두고, 그 성공 확률 (p_i) 에 베타 사전 (Beta(a_i,b_i)) 를 부여한다. 2D 뷰에서 얻은 마스크와 가우시안의 투과도 (\alpha_i) 및 전이량 (T_i) 를 이용해 성공·실패 의사 카운트 (e_{i,1},e_{i,0}) 를 계산하고, 베타‑베르누이 공액성을 이용해 사후 (Beta(a_i+e_{i,1},b_i+e_{i,0})) 로 업데이트한다. 이렇게 하면 여러 뷰에서 누적된 의사 카운트가 곧 가우시안의 객체 소속 확률 추정치가 된다.

둘째, 뷰 선택은 기대 정보 이득(EIG)을 기반으로 한다. 베타 분포의 엔트로피는 파라미터 합 (\kappa_i=a_i+b_i) 가 커질수록 감소하므로, 새로운 뷰가 제공하는 의사 카운트 (\tau_i) 를 이용해 사전 ((a_i,b_i)) 에 대한 기대 엔트로피 감소량을 계산한다. 실제 마스크를 얻지 않고도 베타 평균 (m_i=a_i/(a_i+b_i)) 를 사용해 성공·실패 카운트를 근사함으로써, 모든 후보 뷰에 대해 단일 렌더링만으로 EIG를 빠르게 평가한다.

이론적 기여는 EIG가 적응형 단조성(adaptive monotonicity)과 적응형 서브모듈러리티(adaptive submodularity)를 만족한다는 점이다. 즉, 이미 관측한 뷰 집합 (S) 에 새로운 뷰 (v) 를 추가했을 때 기대 정보 이득은 항상 비음이며, 집합이 커질수록 동일 뷰에 대한 한계 이득은 감소한다. 이러한 성질을 이용해 그리디 정책이 최적 정책 대비 ((1-1/e)) 근사를 보장한다는 기존 결과(Theorem 16 in