스케일러블 작업조건 검색을 통한 장기 멀티모달 로봇 기억 시스템

초록

STaR은 로봇이 장시간 동안 수집한 RGB·깊이·포즈 데이터를 기반으로 3가지 서브 데이터베이스(비디오 캡션, 3D 프리미티브, 키프레임)를 결합한 OmniMem을 구축한다. 사용자의 텍스트·이미지 질의에 대해 정보 병목(Information Bottleneck) 원리를 적용한 작업조건 검색을 수행해 중복을 최소화하고 정보량을 극대화한 메모리 서브셋을 추출한다. 이후 멀티모달 대형 언어 모델(MLLM) 에이전트가 이 서브셋을 활용해 공간·시간·서술적 질문에 정확히 답하고, 로봇 내비게이션 명령으로 변환한다. NaVQA와 자체 제작 WH‑VQA 벤치마크, 실제 Husky 로봇 실험에서 기존 방법보다 성공률과 위치 오차 모두 크게 향상된 결과를 보였다.

상세 분석

STaR 논문은 장기 로봇 기억 구축과 효율적 검색·추론이라는 두 축을 동시에 해결하려는 시도로, 기존 연구가 갖는 몇 가지 근본적인 한계를 정교하게 보완한다. 첫째, 메모리 구성 단계에서 단순히 3D 객체 그래프나 비디오 캡션만을 저장하던 기존 방식과 달리, STaR은 OmniMem이라는 삼중 구조를 제안한다. 여기에는 (i) 비디오 캡션 메모리(C₁:ₜ)—NVILA 기반의 초당 캡션을 텍스트 임베딩으로 인덱싱해 시간·위치·텍스트 기반 검색을 가능하게 함, (ii) 3D 프리미티브 메모리(X₁:ₜ)—OpenGraph 파이프라인과 RAM·Grounding‑DINO·Segment‑Anything을 결합해 객체 마스크와 캡션을 동시에 확보하고, 포인트 클라우드와 시맨틱 피처를 저장, (iii) 키프레임 메모리(K₁:ₜ)—시각적 디테일이 필요한 경우를 대비해 1 Hz 정도의 이미지와 객체 라벨을 저장한다. 이 설계는 **작업-불가지론(task‑agnostic)**을 유지하면서도 세밀한 속성·관계·동적 이벤트를 보존한다는 점에서 혁신적이다.

둘째, 검색 단계에서 논문은 Information Bottleneck (IB) 원리를 활용한 Task‑Conditioned Retrieval을 도입한다. 일반적인 RAG 방식은 전체 메모리를 그대로 LLM 프롬프트에 삽입해 토큰 과부하와 헬리시네이션 위험을 초래한다. STaR은 질의 Q를 벡터 DB에 매핑해 캡션‑유도 프리미티브 집합 X′_Q를 고정밀로 추출한 뒤, 이 집합에 대해 IB 기반 클러스터링을 수행한다. IB는 “프리미티브 x′가 클러스터 ˜x′에 속할 확률 p(˜x′|x′)”를 학습해, 작업에 가장 정보량이 큰 최소 클러스터를 형성한다. 이렇게 얻어진 클러스터는 비중복·고정보 특성을 가지며, 각 클러스터당 대표 캡션을 선택해 최종 증거 집합 R을 만든다. 이 과정은 (i) 메모리 길이가 증가해도 선형 혹은 그 이하의 복잡도를 유지하고, (ii) 사전 정의된 작업 리스트가 필요 없으며, (iii) 동적으로 변하는 질의에도 즉시 대응할 수 있다는 장점을 제공한다.

셋째, Agentic RAG 워크플로우는 MLLM(멀티모달 대형 언어 모델) 에이전트를 “플래너·리트리버·리저너” 역할로 활용한다. 에이전트는 (1) 질의와 현재 시점 이미지·텍스트를 입력받아 작업 계획을 수립하고, (2) 위에서 정의한 API를 호출해 R을 획득, (3) R에 포함된 3D 좌표·시간·시각적 정보를 종합해 구조화된 답변(위치, 시간, 서술) 혹은 내비게이션 목표를 생성한다. 이렇게 하면 LLM이 직접 로봇 제어 명령을 생성하는 것이 아니라, 검증된 메모리 증거에 기반해 신뢰성 높은 출력을 내보낼 수 있다.

실험 측면에서 저자들은 두 가지 벤치마크를 구축했다. NaVQA는 실외·실내가 혼합된 캠퍼스 영상으로, 다양한 공간·시간·서술 질문을 포함한다. WH‑VQA는 Isaac Sim 기반의 창고 시뮬레이션으로, 시각적으로 유사한 객체가 다수 존재하고, 작업 granularity가 가변적인 상황을 제공한다. STaR은 두 데이터셋 모두에서 **성공률(accuracy)**과 **위치 오차(spatial error)**에서 기존 RAG·Scene‑Graph 기반 방법들을 크게 앞섰다. 특히, 10분 이상 누적된 메모리에서도 200 ms 이하의 검색 시간을 유지했으며, 키프레임을 선택적으로 로드함으로써 스토리지 비용을 70 % 이상 절감했다.

마지막으로 실제 Husky 로봇에 적용한 현장 실험에서는 실내 복도와 실외 정원에서 복합 질의(예: “파손 위험이 있는 상자를 찾아서 지정된 선반에 놓아라”)를 수행했으며, 로봇이 정확한 3D 목표 좌표를 도출하고 성공적으로 내비게이션을 완료했다. 이는 STaR이 시뮬레이션을 넘어 실시간, 장기, 멀티모달 환경에서도 견고하게 동작한다는 강력한 증거이다. 전체적으로 STaR은 메모리 효율성, 작업 조건 적응성, 그리고 대형 언어 모델과의 시너지 측면에서 현존하는 로봇 기억·질의 체계에 대한 패러다임 전환을 제시한다.