리마인드 기하학 기반 공간 에이전트

초록

본 논문은 3D 실내 장면을 정적 3D 씬 그래프(3DSG)로 표현하고, 대형 언어 모델(LLM)이 이 그래프에 내장된 기하학 도구를 통해 질의에 답하도록 설계한 에이전시 프레임워크를 제안한다. 인식 단계는 완전한 정확도를 가정해 ground‑truth 주석으로 3DSG를 구축하고, 추론 단계는 LLM이 도구 호출만으로 거리, 부피, 방향 등 메트릭 정보를 얻어 공간 추론을 수행한다. VSI‑Bench 정적 테스트에서 기존 비디오 기반 VLM 대비 33∼50% 향상, 최신 공간 QA 모델 대비 최대 16% 절대 향상을 기록한다.

상세 분석

RieMind는 “인식‑추론 분리”라는 설계 철학을 명확히 구현한다. 기존 VLM은 영상 스트림을 직접 입력받아 end‑to‑end 방식으로 공간 정보를 추출하고 추론하지만, 이 과정에서 깊이 추정 오류, 프레임 간 일관성 문제, 그리고 메트릭 정보의 불확실성이 축적된다. RieMind는 이러한 문제를 회피하기 위해 3DSG라는 구조화된 표현을 사용한다. 3DSG는 건물, 층, 방, 객체 네 개의 계층적 노드와 객체‑객체 간 ‘near’ 관계를 포함한 엣지로 구성되며, 각 노드는 고유 ID와 함께 위치, 크기, 부피, 방향 등 정량적 속성을 보유한다.

프레임워크는 두 개의 주요 모듈로 나뉜다. 첫 번째는 perception layer로, 논문에서는 실험의 순수 추론 성능을 측정하기 위해 ground‑truth 주석을 이용해 3DSG를 직접 생성한다. 실제 적용 시에는 RGB‑D 영상과 카메라 파라미터를 입력으로 하는 기존 씬 그래프 구축 파이프라인을 그대로 활용할 수 있다. 두 번째는 reasoning layer로, 여기서는 LLM이 사전에 정의된 네 개의 네임스페이스(메모리, 씬, 기하, 위치·방향)로 구분된 도구 집합에 접근한다. 각 도구는 단일 속성 접근 혹은 기본적인 좌표 변환만 수행하도록 설계돼, 복합 연산을 LLM이 스스로 만들지 못하도록 강제한다. 이는 “Minimal geometric primitives”, “Explicit grounding”, “Determinism”이라는 세 가지 설계 원칙에 부합한다.

LLM은 시스템 프롬프트에서 역할 정의와 도구 카탈로그, 질의 형식(JSON) 등을 제공받는다. 질의가 들어오면 먼저 메모리 도구로 씬 요약을 받아 전체 구조를 파악하고, 씬 도구로 대상 객체를 ID로 매핑한다. 이후 기하 도구를 호출해 거리·부피·면적 등을 얻고, 필요 시 위치·방향 도구로 좌표 변환을 수행한다. 모든 호출은 하나의 응답에 한 번씩 제한되며, 호출 기록은 증거(evidence)로 JSON에 포함된다. 이렇게 단계별로 명시적인 증거와 메타데이터를 남김으로써 추론 과정이 투명해지고, 오류 디버깅이 용이해진다.

실험에서는 VSI‑Bench 정적(split) 데이터를 사용해 3DSG를 ground‑truth 기반으로 구축하였다. RieMind는 기존 비디오 기반 VLM(예: ViCA, SpaceR 등) 대비 평균 33∼50% 정확도 향상을 보였으며, 최신 공간 QA 모델 대비 최대 16% 절대 향상을 기록했다. 특히 “거리”, “부피”, “상대 방향” 등 메트릭 중심 질문에서 가장 큰 이득을 보였으며, 이는 3DSG가 제공하는 정확한 수치 정보와 LLM이 도구 호출을 통해 직접 접근할 수 있기 때문이다.

한계점으로는 현재 실험이 인식 오류가 없는 이상적인 상황에 국한되었다는 점이다. 실제 적용 시 3DSG 구축 단계에서 발생하는 segmentation·depth 추정 오류가 전체 성능에 미치는 영향을 추가 연구가 필요하다. 또한, 도구 호출 비용과 LLM 토큰 제한이 시스템 규모 확대에 어떤 제약을 주는지도 검토해야 한다. 그럼에도 불구하고, RieMind는 구조화된 기하학적 지식을 LLM에 연결함으로써 공간 추론을 크게 향상시킬 수 있음을 입증한 중요한 시도이다.