3D 장기 기억을 활용한 임베디드 대형 언어 모델

초록

본 논문은 인간이 공간·시간을 아우르는 장기 기억을 활용해 복합적인 작업을 수행하는 방식을 모방하고자, 3D 환경에서의 장기 기억 능력을 평가하는 3DMEM‑Bench 벤치마크와, 작업‑관련 정보를 선택적으로 통합하는 동적 메모리 관리·융합 모듈을 갖춘 3DLLM‑Mem 모델을 제안한다. 실험 결과, 제안 모델은 기존 최첨단 방법보다 성공률이 16.5%p 상승하는 등 장기 기억이 요구되는 다방향 임베디드 작업에서 현저히 우수한 성능을 보였다.

상세 분석

3DLLM‑Mem은 두 단계의 메모리 구조를 도입한다. 첫 번째는 제한된 용량의 워킹 메모리로, 현재 프레임의 RGB‑D 이미지와 텍스트 명령을 토큰화하여 LLM의 입력 컨텍스트에 직접 삽입한다. 두 번째는 에피소드 메모리로, 에이전트가 탐색·조작 과정에서 수집한 3D 포인트 클라우드와 객체 메타데이터를 고밀도 형태로 저장한다. 핵심은 워킹 메모리 토큰을 쿼리로 활용해 에피소드 메모리에서 시공간적으로 가장 연관성이 높은 서브셋을 선택적으로 추출하고, 이를 메모리 융합 모듈을 통해 워킹 메모리와 결합하는 점이다. 융합 과정은 (1) 위치 임베딩을 이용한 시공간 정렬, (2) 어텐션 기반 중요도 스코어링, (3) 선택된 특징의 가중합으로 구성된다. 이를 통해 LLM은 컨텍스트 길이 제한을 초과하지 않으면서도 과거 관찰의 세밀한 기하학적 관계를 활용할 수 있다.

3DMEM‑Bench은 Habitat‑Sim 기반의 182개 실내 씬(총 2,602개 방)에서 생성된 26,000여 개의 트래젝터리를 포함한다. 벤치마크는 (①) 다방향 행동 시퀀스를 요구하는 임베디드 작업, (②) 시공간적 정보를 필요로 하는 EQA(Embodied Question Answering), (③) 장기 기억을 요약하는 캡셔닝 과제로 구성된다. 각 과제는 난이도(쉬움·보통·어려움)와 인‑와일드(보지 않은 씬·객체) 조건을 조합해 1,860개의 세부 태스크를 제공한다.

실험에서는 기존 3D‑LLM(예: Habitat‑GPT, 3D‑GPT)과 메모리 강화 모델(예: MemGPT, Retrieval‑Augmented LLM)을 동일한 트레이닝/테스트 프로토콜에 적용하였다. 3DLLM‑Mem은 인‑와일드 난이도 ‘어려움’ 상황에서도 평균 성공률 27.8%를 기록했으며, 이는 최강 성능 대비 16.5%p 상승한 수치이다. 특히 메모리 융합 모듈이 없을 경우 성공률이 10%p 이하로 급락하는 점에서, 동적 메모리 선택·통합이 장기 기억 기반 임베디드 행동에 결정적임을 입증한다.

한계점으로는 현재 포인트 클라우드 재구성이 사전 처리된 형태로 로컬에 저장돼 실시간 메모리 확장성에 제약이 있으며, 메모리 선택 어텐션이 복잡한 질문에 대해 과도하게 집중하는 경향이 있다. 향후 연구에서는 온라인 점진적 메모리 압축과 멀티모달(음성·촉감) 통합을 통해 인간의 기억 메커니즘을 더욱 정밀히 모사할 수 있을 것으로 기대된다.