사용자 습관 기반 객체 탐색 벤치마크

초록

본 논문은 가정 환경에서 개인별 물건 배치 습관을 반영한 객체 탐색(Object Navigation) 벤치마크인 UcON을 제안한다. 489개 카테고리와 22,600여 개의 사용자 습관을 포함해, 에이전트가 습관 지식베이스를 활용해 효율적으로 목표 객체를 찾도록 설계되었다. 또한 습관 검색 모듈(HRM)을 도입해 관련 습관을 추출·필터링하고, 기존 SOTA 방법에 습관 정보를 결합했을 때 성공률이 크게 향상됨을 실험적으로 입증한다.

상세 분석

UcON 벤치마크는 기존 Object Navigation 연구가 주로 “장면 일반 상식”에 의존해 객체 위치를 추정하는 한계를 극복하고, 개인별 “사용자 습관”이라는 새로운 정보원을 도입한다는 점에서 혁신적이다. 먼저, 저자들은 GPT‑4를 활용해 489개의 객체 카테고리마다 자연어 형태의 습관 문장을 자동 생성하고, 각 습관에 대응하는 물리적으로 타당한 위치 관계(place‑nextto, place‑ontop, place‑inside, place‑under)를 검증한다. 이렇게 구축된 User Habit Knowledge Base(UHKB)는 에피소드마다 무작위로 샘플링되어, 객체가 습관에 따라 재배치된 “habit‑shaped scene”을 만든다.

핵심 기술은 Habit Retrieval Module(HRM)이다. 에이전트는 현재 관찰된 시각 정보와 목표 객체 카테고리를 입력으로, UHKB에서 해당 객체와 직접 연관된 습관만을 빠르게 추출한다. 추출된 습관은 LLM(예: 7B‑13B 규모)에게 프롬프트로 제공되어, “이 습관을 기반으로 어디를 탐색해야 하는가”라는 고수준 계획을 생성한다. 동시에 Object Detector가 현재 시야에 보이는 객체를 인식해, LLM이 만든 계획과 실시간 감지 결과를 통합한다.

실험에서는 Habitat‑based PPO, LLM‑driven PixelNav, 그리고 최신 비전‑언어 모델 기반 방법들을 UcON에 적용했다. 결과는 두 가지 측면에서 나타난다. 첫째, 습관이 반영되지 않은 일반적인 ON 벤치마크에서는 높은 성공률을 보이던 기존 SOTA가, 습관에 의해 객체가 비전통적 위치에 놓일 경우 성능이 급격히 저하된다. 둘째, HRM을 통해 습관을 명시적으로 활용하면 성공률이 평균 12‑18%p 상승하고, 탐색 효율성(steps‑to‑goal)도 크게 개선된다. 특히, 작은 규모 LLM(7B)도 HRM과 결합하면 대형 모델 수준의 추론 능력을 근접하게 달성한다는 점이 주목할 만하다.

또한 저자들은 인간 평가를 통해 생성된 습관·배치가 98.5% 이상 현실성 있게 인식된다는 검증을 제공한다. 이는 완전한 실세계 데이터 수집이 어려운 상황에서도, 합성 데이터가 충분히 유용함을 시사한다. 마지막으로, 프라이버시와 실시간성을 고려해 Omnigibson 시뮬레이터 상에서 로컬 실행이 가능하도록 설계했으며, RTX 3090/4090 수준의 GPU에서도 실시간 추론이 가능하도록 최적화하였다.

이러한 설계와 실험 결과는 “사용자 맞춤형 로봇 서비스”라는 장기 목표에 필수적인, 개인화된 공간 인식·추론 능력을 평가·향상시킬 수 있는 새로운 연구 플랫폼을 제공한다. 앞으로 습관 획득(learning)과 멀티‑유저 충돌 해결 등 확장 연구가 기대된다.