제로샷 객체 목표 탐색을 위한 메모리 실행 리뷰 프레임워크

초록

본 논문은 객체 목표 탐색(Object Goal Navigation, OGN)에서 성공률과 일반화 능력을 동시에 향상시키기 위해 메모리‑실행‑리뷰(Memory‑Execute‑Review)라는 3단계 인지 구조를 제안한다. 계층적 메모리(단기·장기·상식)와 실행 모듈, 그리고 이상 상황을 감지·수정하는 리뷰 모듈을 결합해, 기존 훈련 기반(SFT)과 훈련‑프리(TF) 방법 모두를 능가하는 성능을 4개 데이터셋에서 입증한다.

상세 분석

MerNav는 인간의 인지 과정에서 기억, 실행, 검토가 별도 영역에서 협업한다는 신경과학적 근거를 차용한다. 구체적으로, 단기 메모리는 현재 RGB‑D 프레임과 자세 정보를, 장기 메모리는 탐색 영역 지도와 가치 기록을 압축·비압축 형태로 저장한다. 압축 메모리는 BEV( bird‑eye‑view) 형태의 탐색‑지역 지도와 탐색‑가치 지도를 유지해, 최근 관측에 가중치를 두는 지수 이동 평균(EMA)으로 점수를 통합한다. 비압축 메모리는 슬라이딩 윈도우(Lw)로 최근 이미지(예: t‑1)를 보존해 순간 판단에 활용한다. 상식 메모리는 목표 객체의 형태·크기, 로봇 자체의 물리적 제약, 문·문틀 등 환경 규칙을 포함하며, 프롬프트에 규칙·우선순위 형태로 주입된다.

실행 모듈은 관찰 분석 → 경로 계획 → 행동 선택 → 정지 결정의 4단계 파이프라인으로 구성된다. 관찰 분석 단계에서는 로컬 뷰(현재 정면), 글로벌 뷰(6방향 이미지 스티치), 히스토리 뷰(탐색 지도)를 통합해 VLM(Visual Language Model) 기반 스코어링 에이전트를 동작시킨다. 이때 각 방향에 대한 점수와 이유(Rt)를 명시적으로 출력해 투명성을 확보한다. 스코어는 EMA를 통해 현재와 과거 점수를 융합하고, 최고 점수 방향을 후보로 선정한다.

경로 계획 단계에서는 선택된 이미지와 이유, 이전 서브골을 입력으로 하여 서브골 생성 함수를 호출한다. 이는 고수준 목표를 여러 단계의 실행 가능한 서브골로 분해해, 이후 행동 선택에서 구체적인 이동 명령을 생성하도록 돕는다. 행동 선택은 깊이 맵을 이용해 지면과의 높이 차이가 임계값(Th) 이하인 영역을 보행 가능 영역으로 정의하고, 현재 위치에서 가장 먼 도달점을 찾은 뒤 좌·우로 일정 각도 간격으로 후보점을 추가한다. 이렇게 생성된 후보점 중 최적을 선택하고, 필요 시 회전·전진·정지 등 기본 행동을 매핑한다.

리뷰 모듈은 실행 과정 전반을 독립적으로 모니터링한다. 두 단계 리뷰(2‑step)와 다단계 리뷰(Multi‑step)를 도입해, 현재 행동이 목표와 일치하지 않거나 탐색‑가치가 급격히 감소하는 경우 즉시 경고를 발생한다. 이후 리뷰 함수는 상황에 맞는 교정 전략을 선택해 서브골을 재생성하거나, 기존 행동을 중단하고 새로운 방향을 탐색하도록 트리거한다. 이 메커니즘은 인간이 “스스로를 하루에 세 번 점검한다”는 철학을 구현한 것으로, 오류 누적을 방지하고 안전성을 크게 향상시킨다.

실험에서는 MP3D, HM3D_v0.1, HM3D_OVON, 그리고 추가적인 4번째 데이터셋에서 Zero‑Shot 및 Training‑Free 설정을 모두 평가했다. MerNav는 TF 기반 베이스라인 대비 평균 성공률(SR) 7%p, Zero‑Shot 대비 5%p 향상을 달성했으며, 특히 HM3D_v0.1과 HM3D_OVON에서는 각각 8%p·6%p의 절대 개선을 보였다. 더 나아가 MP3D와 HM3D_OVON에서는 모든 TF 및 SFT 방법을 앞서 SR에서 5%p·2%p, SPL에서도 유의미한 상승을 기록했다. 고성능 기반 모델을 교체했을 때는 SR·SPL이 추가로 3%p씩 상승해 70% 이상의 “Acceptable” 수준에 도달했다.

핵심 기여는 (1) 인간 인지 구조를 모방한 메모리‑실행‑리뷰 프레임워크 설계, (2) 계층적 메모리와 베이즈식 점수 융합을 통한 정보 효율성 증대, (3) 독립적 리뷰를 통한 실시간 오류 정정 메커니즘, (4) 다양한 데이터셋에서 SFT와 TF 양쪽을 모두 능가하는 종합적인 성능 입증이다. 이 접근법은 향후 로봇·에이전트가 실제 환경에서 안전하고 효율적으로 목표를 달성하도록 하는 기반이 될 것으로 기대된다.