실시간 언어특징 가우시안 스플래팅 SLAM

초록

LangGS‑SLAM은 RGB‑D 입력과 사전 학습된 비전‑언어 모델(예: CLIP, LSeg) 임베딩을 이용해, 고차원 언어 정렬 특징을 가우시안 스플래팅 형태로 실시간(15 FPS) 재구성하는 SLAM 시스템이다. 핵심은 고차원 특징을 효율적으로 렌더링하는 Top‑K 파이프라인, 기하‑시맨틱 일관성을 유지하면서 메모리를 절감하는 다중 기준 지도 관리, 그리고 기하와 특징을 서로 다른 주기로 최적화하는 하이브리드 필드 최적화이다. 실험 결과, 기하 정확도는 기존 기하‑전용 SLAM보다 우수하고, 시맨틱 품질은 오프라인 방식에 근접한다.

상세 분석

LangGS‑SLAM은 기존 SLAM이 갖는 두 가지 근본적인 한계를 동시에 해결한다. 첫째, 언어‑정렬 고차원 특징을 가우시안에 직접 부착함으로써 ‘오픈‑보카뷸러리’ 질의를 가능하게 한다. 이는 CLIP·LSeg 같은 비전‑언어 모델이 제공하는 512‑차원 임베딩을 그대로 사용하므로, 사전 정의된 라벨 집합에 얽매이지 않는다. 둘째, 이러한 고차원 특징을 실시간으로 처리하려면 렌더링 비용과 메모리 사용량이 급증한다는 점이다. 저자는 이를 위해 Top‑K 렌더링을 도입한다. 기존 알파‑블렌딩은 모든 가우시안을 순회해 가중합을 수행해 계산량이 O(N·D) (N: 가우시안 수, D: 특징 차원)이며, 서로 다른 표면에서 온 특징이 혼합돼 의미가 흐려진다. Top‑K는 각 레이마다 기여도가 가장 큰 K개의 가우시안만 선택하고, 선택된 가우시안의 가중치를 정규화해 특징을 합산한다. K를 고정함으로써 연산량을 O(K·D)로 제한하고, 표면에 가장 가까운 가우시안만 사용해 시맨틱 왜곡을 방지한다. CUDA 커널을 직접 구현해 레이‑별 인덱스와 가중치를 기록하고 재사용함으로써 파이프라인 전체를 고속화한다.

다음으로 지도 관리 단계에서는 두 가지 기준을 결합한다. (1) 시맨틱‑기하 일관성 프루닝은 Top‑K에 거의 선택되지 않은 가우시안을 후보로 삼고, 각 가우시안의 최대 알파‑블렌딩 기여도(기하적 중요도)를 계산한다. 이를 정규화해 생존 확률을 구하고, 사전에 정의한 비율만큼 샘플링해 남긴다. 이렇게 하면 시맨틱 기여가 낮더라도 기하적으로 중요한 가우시안은 유지된다. (2) 중복‑인식 삽입 억제는 트래킹 단계에서 G‑ICP가 제공하는 최근접 거리 정보를 재활용한다. 새 가우시안을 삽입하려는 위치와 기존 가우시안 사이의 거리가 임계값 이하이면 삽입을 건너뛰어, 지도 규모가 불필요하게 팽창하는 것을 방지한다. 이 두 메커니즘은 메모리 사용량을 크게 줄이면서도 기하·시맨틱 일관성을 유지한다.

마지막으로 하이브리드 필드 최적화는 기하와 특징의 수렴 속도 차이를 이용한다. 기하 필드는 고주파 구조를 담고 있어 빠른 업데이트가 필요하지만, 특징 필드는 부드럽고 기하가 안정될 때만 업데이트해도 충분히 수렴한다. 따라서 저자는 기하 파라미터를 매 프레임마다, 특징 파라미터를 일정 간격(예: 5~10 프레임마다)으로 업데이트한다. 손실 함수는 색·깊이 L1 손실과 특징 L1 손실을 가중합한 형태이며, λ geo와 λ feat를 조절해 두 목표 사이의 트레이드오프를 제어한다.

실험에서는 15 FPS라는 실시간 수준에서 기존 3DGS‑기반 SLAM(SOTA geometric‑only)보다 낮은 재구성 오류를 기록했고, 오프라인 방식(예: LERF, Feature‑3DGS)과 비슷한 시맨틱 정밀도를 달성했다. 특히 복잡한 실내·실외 씬에서 텍스트 기반 3D 질의를 수행할 수 있음을 시연했다. 한계점으로는 K값 선택에 따라 세밀한 디테일 손실이 발생할 수 있고, 현재는 CLIP/LSeg 임베딩을 그대로 사용해 압축 없이 저장하므로 메모리 한계가 여전히 존재한다는 점이다. 향후 압축 인코더와 동적 K 조정, 그리고 LLM과의 직접적인 피드백 루프를 통합하는 연구가 기대된다.