모자이크싱커 온디바이스 시각 공간 추론을 위한 전역 의미 지도 구축

초록

본 논문은 작은 온디바이스 비주얼 언어 모델(VLM)의 한계를 보완하기 위해, 다중 프레임에서 추출한 파편화된 공간 정보를 전역 의미 지도(semantic map)로 통합하고, 이를 시각 프롬프트로 VLM에 제공하는 추론‑시간 기법인 MosaicThinker를 제안한다. 키 프레임 선택, 프레임 간 객체 정합, 반복적 지도 구축 과정을 통해 크로스‑프레임 공간 추론 정확도를 최대 40% 향상시키면서도 연산 오버헤드를 최소화한다.

상세 분석

MosaicThinker는 기존 VLM이 2D 이미지에 국한된 토큰화 방식으로 3D 공간 정보를 직접 학습하지 못한다는 근본적인 한계를 인식하고, 모델 재학습 없이 추론 단계에서 보조적인 공간 표현을 제공한다는 점에서 혁신적이다. 핵심 아이디어는 (1) 각 프레임에서 전용 AI 모듈(객체 탐지, 깊이 추정, 3D 포인트 클라우드 변환 등)을 이용해 객체 위치·방향·크기와 카메라 포즈를 추출하고, (2) 연속 프레임 간 객체 매칭을 통해 전역 좌표계에 정렬한다. 이때 매칭은 시각적 특징과 3D 변환 일관성을 동시에 고려하는 다중 모달 정합 알고리즘을 사용한다.

정렬된 정보를 기반으로 구축되는 의미 지도는 전통적인 BEV와 달리 희소한 그리드 형태이며, 각 셀에는 “객체 ID‑위치‑방향”이라는 구조화된 토큰이 저장된다. 희소성은 작은 VLM이 고해상도 이미지 전체를 처리할 필요 없이 핵심 공간 정보를 빠르게 파악하도록 돕는다. 또한, 지도는 시각 프롬프트(예: “아래 그림의 의미 지도를 확인하고, 현재 카메라 시점에서 신발 오른쪽에 있는 물체를 찾으라”)와 결합되어 VLM이 자연어 질의와 공간 정보를 동시에 처리하도록 유도한다.

키 프레임 선택 메커니즘은 초기 랜덤 샘플링 → 질의‑기반 중요도 스코어링 → 반복적 재샘플링의 3단계로 구성된다. 각 반복에서 선택된 프레임은 정보량(새로운 객체 등장, 시점 변화 등)과 질의와의 연관성을 평가받아 최적의 프레임 집합을 도출한다. 이 과정은 온디바이스 환경에서도 경량화된 확률적 탐색 알고리즘으로 구현돼 연산 비용을 크게 늘리지 않는다.

실험에서는 NVIDIA Jetson Orion, Meta AR Glass, OnePlus 12R 등 다양한 하드웨어에 MosaicThinker를 탑재하고, 실내 가정·사무·도서관 등 8개 시나리오에서 5가지 유형(객체 관계, 위치 식별, 카메라 움직임 추정 등)의 크로스‑프레임 공간 질의를 평가했다. 베이스라인으로는 기존 비디오‑텍스트 모델, BEV 기반 방법, 그리고 3D 토큰 주입 방식이 사용됐으며, MosaicThinker는 평균 정확도 68%→92%(≈40%p 상승)를 기록했다. 특히, 작은 7B 파라미터 VLM에서도 대형 32B 모델에 근접한 성능을 보였으며, 전체 파이프라인의 추가 연산량은 12% 미만으로 유지됐다.

한계점으로는 (1) 의미 지도 구축에 사용되는 전처리 모듈(깊이 추정·포인트 클라우드 변환)의 정확도가 전체 시스템 성능에 크게 좌우된다는 점, (2) 현재는 정적인 실내 환경에 초점을 맞추어 동적 객체나 급격한 조명 변화에 대한 견고성이 부족하다는 점, (3) 키 프레임 선택이 질의 유형에 따라 최적화되지 않을 가능성이 있다는 점을 들 수 있다. 향후 연구에서는 멀티모달 센서(예: IMU, 라이다)와의 융합, 동적 장면에 대한 지속적 지도 업데이트, 그리고 질의‑조건부 프레임 선택 정책을 강화하는 방향을 제시한다.