내부 기하학 퇴화 극복을 위한 명시적 솔리디티 기반 NeRF 개선

초록

본 논문은 고밀도 자가폐색 장면에서 기존 마스크‑감독 암시적 NeRF가 내부 구조를 빈 껍데기로 재구성하는 “Interior Geometric Degradation(IGD)” 현상을 규명하고, SfM 기반 Sparse Voxel Rasterization(SVRaster)으로 초기화한 명시적 voxel 그리드를 이용해 물리적 솔리디티를 보강함으로써 인스턴스 회복률을 89 %에서 95.8 %로 향상시킨다.

상세 분석

NeRF는 투과율 기반 볼류메트릭 렌더링을 이용해 광선당 누적 투과율을 최소화하는 방식으로 학습되는데, 이는 깊게 겹친 물체가 많은 장면에서는 내부 픽셀에 도달하는 신호가 급격히 약해져 최적화가 표면에만 집중되는 구조적 한계를 만든다. 저자들은 이를 “Interior Geometric Degradation(IGD)”라 명명하고, 합성 과일 군집 데이터에서 점점 높은 폐색률을 적용해 FruitNeRF와 InvNeRF‑Seg 두 최신 마스크‑감독 모델이 89 % 수준의 인스턴스 회복률에 머무르는 현상을 실험적으로 확인하였다. FruitNeRF는 레이당 최대 투과율 점만을 선택해 얇은 표면 포인트 클라우드를 생성하므로 내부 볼륨이 거의 사라지고, InvNeRF‑Seg는 전체 레이 샘플을 보존해 밀도 기반 포인트를 늘리지만 여전히 투과율 감쇠에 의해 내부 과일이 누락된다. 두 방법 모두 시각적으로는 높은 렌더링 품질과 마스크 정확도를 보이지만, 실제 3D 기하학에서는 빈 껍데기와 파편화된 구조가 나타난다. 이를 해결하기 위해 저자들은 SfM으로 얻은 희소 점군과 카메라 포즈를 초기화값으로 삼아 SVRaster를 구축하고, 2D 인스턴스 마스크를 voxel에 직접 투영하는 “mask lifting” 과정을 도입했다. voxel 그리드는 물리적 점유 공간을 명시적으로 표현하므로, 폐색이 심한 영역에서도 내부 볼륨이 유지된다. 이후 DBSCAN 기반 클러스터링과 재귀적 K‑means 분할을 통해 과일 간 경계가 명확히 구분되는 인스턴스 클러스터를 추출한다. 실험 결과, SVRaster 파이프라인은 밀집된 plum 데이터셋에서 714개의 인스턴스를 복원해 95.8 % 회복률을 달성했으며, 마스크 품질이 저하된 SAM 기반 세그멘테이션에서도 기존 암시적 방법보다 43 % 더 많은 인스턴스를 회복했다. 이러한 결과는 물리적 기하학적 선행지식이 없으면 볼류메트릭 최적화만으로는 폐색이 심한 장면의 정량적 3D 분석이 불가능함을 강력히 시사한다.