경계 인식을 위한 가우시안‑포인트 속성 정렬 기반 3D 의미 분할

초록

본 논문은 3D 가우시안 스플래팅에서 추출한 불투명도와 스케일 속성을 포인트 클라우드에 정밀히 매핑하여, 외관 정보를 보강한 새로운 G2P 프레임워크를 제안한다. 이를 통해 기하학적 편향과 경계 모호성을 해소하고, 2D 이미지나 언어 슈퍼비전 없이도 기존 벤치마크에서 뛰어난 성능을 달성한다.

상세 분석

G2P는 크게 세 단계로 구성된다. 첫 번째 단계인 Gaussian‑to‑Point Feature Augmentation에서는 최적화된 3D Gaussian 집합과 원본 포인트 클라우드 사이의 정밀한 대응을 구축한다. 기존 연구에서 Gaussian이 최적화 과정에서 원래 위치에서 크게 이동하는 문제를 해결하기 위해, 논문은 각 포인트 주변의 반경 r 내에 있는 Gaussian 후보들을 먼저 선별하고, 이후 각 후보와 포인트 사이의 Mahalanobis 거리를 계산한다. Mahalanobis 거리 계산에 사용되는 공분산 행렬 Σ는 Gaussian의 anisotropic 형태와 회전 R을 반영하므로, 실제 물리적 근접성을 더 정확히 측정한다. 거리의 역수로 가중치를 정의하고, 상위 k개의 가장 가까운 Gaussian을 선택해 가중 평균을 통해 포인트에 스케일 S′와 불투명도 α′를 부여한다. 이 과정은 포인트의 원래 좌표, 색상, 법선 정보와 결합되어 13차원 특성 벡터를 만든다.

두 번째 단계인 Scale‑based Boundary Extraction은 Augmentation으로 얻은 스케일 벡터의 크기 ‖S′‖₂를 활용한다. 논문은 작은 스케일이 물체 경계에 집중되는 현상을 관찰하고, 이를 기반으로 스케일 크기가 상위 η%를 초과하는 포인트를 제외한 나머지를 경계 후보로 정의한다. 이렇게 추출된 경계 의사 라벨은 물체 내부와 배경 사이의 기하학적 불연속성을 보완하며, 특히 평면에 공존하는 문·창문 등 얇은 구조물의 경계 인식에 효과적이다.

세 번째 단계인 GS Appearance Distillation에서는 사전 학습된 Appearance Encoder를 이용해, Augmented Point Representation(µ_p, c, α′)에서 추출한 외관 특징을 최종 의미 분할 네트워크에 전달한다. 이때 손실 함수는 세 가지 요소를 결합한다: (1) 기존 의미 라벨에 대한 교차 엔트로피, (2) 경계 의사 라벨에 대한 바이너리 크로스 엔트로피, (3) 외관 디스틸레이션 손실. 결과적으로 기하학적 정보와 외관 정보를 동시에 활용하는 통합 3D 표현이 형성된다.

실험에서는 ScanNet, S3DIS 등 표준 데이터셋에서 mIoU와 mAcc 모두 기존 최첨단 방법들을 앞섰으며, 특히 “door”, “window”, “refrigerator”와 같이 기하학적으로 구분이 어려운 클래스에서 큰 개선을 보였다. 중요한 점은 2D 이미지나 언어 모델(예: CLIP)과 같은 외부 슈퍼비전을 전혀 사용하지 않았음에도 불구하고, Gaussian이 제공하는 연속적인 볼류메트릭 속성을 효과적으로 활용했다는 것이다. 또한, Mahalanobis 기반 매칭과 스케일 기반 경계 추출이라는 두 가지 핵심 아이디어가 서로 보완적으로 작용해, 기존 2D‑3D 융합 방식에서 발생하던 투영 오차와 occlusion 문제를 근본적으로 회피한다.

이 논문은 3D Gaussian Splatting이 단순히 렌더링 품질을 높이는 도구를 넘어, 포인트 클라우드 기반 인식 작업에 직접적인 의미적 가치를 제공할 수 있음을 증명한다. 향후 연구에서는 더 복잡한 장면에서의 실시간 매칭 최적화, 다중 스케일 Gaussian 집합을 이용한 멀티레졸루션 학습, 그리고 다른 3D 센서(예: LiDAR)와의 통합 가능성을 탐색할 여지가 있다.