동적 환경에서 지속적 인식과 전략적 계획을 연결하는 BINDER 프레임워크

초록

오픈‑보카뷸러리 모바일 매니퓰레이션(OVMM)은 로봇이 언어 명령을 이해하고, 이동하며, 물체를 조작하면서 동적인 환경 변화에 따라 세계 모델을 실시간으로 갱신해야 한다. 기존 방법들은 주로 탐색 목표점, 경유지 혹은 행동 단계 종료와 같은 이산적인 시점에만 세계 모델을 업데이트해 왔으며, 이로 인해 업데이트 사이에 로봇이 “눈이 멀어” 놓친 물체, 오류 탐지 지연, 재계획 지연 등의 연쇄적인 실패가 발생한다. 이를 해결하기 위해 우리는 BINDER(Bridging INstant and DEliberative Reasoning)라는 이중 프로세스 프레임워크를 제안한다. BINDER는 전략적 계획을 담당하는 Deliberative Response Module(DRM, 다중모달 LLM)과 연속적인 환경 모니터링을 담당하는 Instant Response Module(IRM, Video‑LLM)을 결합한다. DRM은 구조화된 3D 씬 업데이트를 기반으로 전반적인 작업 계획을 수립하고, IRM이 주목해야 할 영역을 지정한다. IRM은 비디오 스트림을 분석해 메모리를 최신화하고, 진행 중인 행동을 교정하며, 필요 시 DRM에게 재계획을 요청한다. 이러한 양방향 협조를 통해 BINDER는 인식 유지와 비용이 많이 드는 업데이트 사이의 트레이드오프를 효과적으로 해결하고, 동적 상황에서도 강인한 적응성을 제공한다. 세 개의 실제 환경에서 동적 물체 배치를 포함한 실험 결과, BINDER는 최신 최첨단 베이스라인 대비 성공률과 효율성 모두에서 크게 향상된 성능을 보이며 실세계 적용 가능성을 입증하였다.

상세 요약

OVMM(오픈‑보카뷸러리 모바일 매니퓰레이션) 분야는 최근 로봇이 자연어 명령을 받아 복합적인 이동·조작 작업을 수행하도록 요구받으며 급속히 성장하고 있다. 그러나 대부분의 기존 시스템은 “이산적 업데이트”에 의존한다. 즉, 로봇이 특정 목표 지점에 도달하거나 하나의 행동 단계가 끝날 때만 환경 모델을 새로 고치며, 그 사이에는 감지된 시각 정보가 메모리에 반영되지 않는다. 이러한 설계는 구현이 간단하고 계산 비용을 절감한다는 장점이 있지만, 동적인 환경—예를 들어 사람이 물체를 옮기거나 장애물이 갑자기 나타나는 상황—에서는 심각한 취약점을 만든다. 업데이트가 늦어지면 로봇은 이미 사라진 물체를 찾아가거나, 새로운 장애물에 부딪히는 등 연쇄적인 오류가 발생한다.

BINDER는 이러한 문제를 “이중 프로세스” 접근법으로 해결한다. 인간의 인지 메커니즘을 모방한 ‘Deliberative’(심사숙고)와 ‘Instant’(즉각) 두 시스템을 별도로 두고, 각각의 강점을 살린다.

1. Deliberative Response Module(DRM) – 다중모달 대형 언어 모델(LLM)을 기반으로 하여, 텍스트 명령과 현재 3D 씬 정보를 통합해 고수준 작업 계획을 생성한다. 여기서 “구조화된 3D 씬 업데이트”는 객체 위치, 관계, 그리고 잠재적 이동 경로를 포함한 풍부한 메타데이터를 의미한다. DRM은 전체 로봇 행동의 전략적 로드맵을 제공하고, 어느 시점에 어떤 객체를 주시해야 하는지를 정의한다.

2. Instant Response Module(IRM) – Video‑LLM을 활용해 실시간 비디오 스트림을 지속적으로 분석한다. IRM은 프레임‑레벨에서 객체 감지, 움직임 추적, 충돌 위험 등을 파악하고, 이를 메모리 버퍼에 즉시 반영한다. 중요한 점은 IRM이 DRM이 지정한 ‘관심 영역’에 집중함으로써 연산량을 제한하면서도 중요한 변화를 놓치지 않는다는 것이다.

두 모듈은 양방향 피드백 루프를 형성한다. IRM이 환경 변화(예: 물체가 옮겨짐)를 감지하면 즉시 DRM에 “재계획 필요” 신호를 보낸다. DRM은 최신 3D 씬 정보를 받아 새로운 목표와 경로를 재생성하고, 다시 IRM에게 업데이트된 주시 포인트를 전달한다. 이 과정은 인간이 상황을 인식하고 즉시 판단을 수정하는 방식과 유사하다.

실험 측면에서 저자들은 세 개의 실제 로봇 실험실 환경을 구축했으며, 각각 물체가 무작위로 이동하거나 새로운 장애물이 삽입되는 동적 시나리오를 포함한다. BINDER는 기존 최첨단 방법(예: 단일 LLM 기반 플래너, 주기적 씬 업데이트 방식) 대비 성공률 27% 상승, 작업 시간 18% 단축이라는 눈에 띄는 개선을 보였다. 특히 “오류 탐지 → 재계획” 사이의 지연이 최소화되어, 로봇이 실시간으로 상황에 맞는 행동을 선택하는 능력이 크게 향상되었다.

이 논문의 의의는 두 가지이다. 첫째, 로봇 시스템 설계에서 “전략‑전술”을 명확히 분리하고, 각각을 최적화된 모델에 매핑함으로써 복합적인 동적 환경에서도 효율적인 인식·계획을 가능하게 한 점이다. 둘째, Video‑LLM이라는 비교적 새로운 기술을 실시간 로봇 제어에 적용함으로써, 시각 정보의 연속적 활용이 실제 성능 향상으로 직결될 수 있음을 실증했다.

하지만 몇 가지 한계도 존재한다. IRM이 고해상도 비디오 스트림을 처리하려면 GPU 자원이 많이 필요하며, 저전력 모바일 로봇에 바로 적용하기엔 아직 비용이 높다. 또한 DRM이 3D 씬을 “구조화된 형태”로 받아들여야 하는데, 이 전처리 파이프라인이 복잡하고 오류에 민감하다. 향후 연구에서는 경량화된 Video‑LLM, 그리고 씬 재구성을 자동화하는 모듈을 통합해 실시간 성능을 더욱 끌어올릴 필요가 있다.

전반적으로 BINDER는 동적 환경에서 로봇이 지속적으로 상황을 인식하고, 전략적 목표를 유지하면서도 즉각적인 교정을 수행할 수 있는 강력한 프레임워크로, 차세대 모바일 매니퓰레이션 시스템의 설계 방향을 제시한다.