동적 장면 그래프 기반 로봇 명령 수행

초록

LookPlanGraph는 정적 장면 그래프와 객체 사전 정보를 결합하고, 실행 중에 VLM을 이용해 에고시각을 분석해 그래프를 실시간으로 갱신한다. 이를 통해 VirtualHome·OmniGibson와 실제 로봇 환경에서 위치가 변한 물체에 대한 명령 수행 정확도를 기존 정적 그래프 기반 방법보다 크게 향상시킨다. 또한 514개의 과제를 포함한 GraSIF 데이터셋과 자동 검증 프레임워크를 공개한다.

상세 분석

본 논문은 LLM을 플래너로 활용하는 임베디드 인스트럭션 팔로잉(Instruction Following) 연구 흐름에, 환경 변화에 대한 적응성을 부여하는 새로운 프레임워크인 LookPlanGraph를 제안한다. 기존 접근법은 사전에 구축된 정적 장면 그래프(static scene graph)를 전제로 하여, 모든 작업에 필요한 객체와 관계가 미리 정의돼 있다고 가정한다. 그러나 실제 로봇 운영 환경에서는 물체 위치 이동, 새로운 물체 등장, 조명 변화 등으로 그래프와 실제 상황 사이에 시차가 발생한다. 이러한 불일치는 플래너가 잘못된 전제에 기반해 비효율적이거나 실패하는 행동을 선택하게 만든다.

LookPlanGraph는 두 가지 핵심 요소를 결합한다. 첫째, 정적인 자산(예: 방 구조, 가구 배치)과 사전 정의된 객체 프라이어(object priors)를 포함하는 기본 그래프를 초기화한다. 둘째, 실행 중 에고 카메라 시야를 Vision‑Language Model(VLM)으로 처리해 현재 관찰된 객체를 식별하고, 기존 프라이어와 매칭하거나 새로운 엔티티를 그래프에 삽입한다. 이 과정은 “verify‑or‑discover” 루프라 부르며, 매 타임스텝마다 그래프를 최신 상태로 유지한다.

기술적으로는 VLM으로 CLIP‑like 이미지‑텍스트 매칭과 LLM 기반 질의 응답을 결합한다. 로봇은 “테이블 위에 사과가 있나요?”와 같은 질문을 LLM에 전달하고, VLM이 이미지에서 사과를 탐지하면 그 위치와 속성을 그래프에 업데이트한다. 또한, 프라이어가 존재하지만 관찰되지 않을 경우 “사과가 사라졌다”는 정보를 그래프에서 제거한다. 이러한 양방향 업데이트는 플래너가 최신 그래프를 기반으로 동적 목표 재설정, 경로 재계산, 행동 재시도를 수행하도록 만든다.

실험에서는 VirtualHome와 OmniGibson 시뮬레이터에서 물체 위치가 임의로 변하도록 설정하고, 514개의 복합 과제에 대해 성공률, 계획 길이, 실행 시간 등을 측정했다. LookPlanGraph는 정적 그래프 기반 베이스라인 대비 성공률이 평균 18%p 상승했으며, 특히 물체 재배치가 빈번한 시나리오에서 플래너의 재계획 횟수가 30% 감소했다. 실제 로봇 실험에서도 사무실 환경에서 물체를 옮기고 찾는 과제에서 동일한 추세가 관찰되었다.

데이터 측면에서는 기존 SayPlan Office, BEHAVIOR‑1K, VirtualHome RobotHow 과제들을 자동으로 그래프와 라벨링을 생성해 514개의 과제로 구성한 GraSIF 데이터셋을 공개한다. 자동 검증 프레임워크는 시뮬레이션 환경에서 목표 상태와 최종 로봇 상태를 비교해 성공 여부를 판단한다. 이는 향후 동적 그래프 기반 인스트럭션 팔로잉 연구에 표준 벤치마크를 제공한다.

본 연구의 주요 기여는 (1) 정적 그래프와 VLM 기반 실시간 그래프 업데이트를 결합한 새로운 아키텍처, (2) 동적 환경에서 플래너의 적응성을 크게 향상시킨 실증적 증거, (3) 대규모 동적 과제와 검증 도구를 포함한 GraSIF 데이터셋이다. 한계점으로는 VLM의 인식 정확도가 낮은 조명이나 반사 표면에서 그래프 업데이트 오류를 일으킬 수 있다는 점이며, 향후 멀티‑모달 센서 융합과 더 정교한 불확실성 모델링이 필요하다.