실시간 실내 로봇 내비게이션을 위한 이중 프로세스 VLM 아키텍처 IROS

초록

IROS는 빠른 반사적 판단을 담당하는 System One과, 복잡한 의미 추론을 수행하는 System Two로 구성된 이중 프로세스 구조를 제안한다. 경량 비전 모듈과 키프레임 비교, 조건‑액션 매칭을 통해 대부분의 이동 결정을 실시간으로 처리하고, 필요할 때만 압축된 VLM을 호출한다. 공간·텍스트 정보 증강과 온‑디바이스 실행을 결합해 5개 건물 실험에서 VLM 전용 방식 대비 평균 지연을 66 % 줄이고, 판단 정확도를 48.2 %→64.3 %로 향상시켰다.

상세 분석

IROS 논문은 실내 로봇 내비게이션에서 “속도”와 “의미 이해”라는 두 축을 동시에 만족시키기 어려운 현 상황을 정확히 짚어낸다. 기존 SLAM 기반 방법은 정밀한 지도와 고성능 라이다가 필요하지만, 인간이 남긴 사인·방 번호와 같은 텍스트 정보를 활용하지 못한다. 반면 VLA·VLM 기반 접근은 풍부한 의미 추론이 가능하지만, 모델 크기와 연산량 때문에 임베디드 하드웨어에서 실시간 반응이 불가능하다. 저자는 인간의 인지 이론인 Dual Process Theory를 로봇 제어 파이프라인에 직접 적용한다는 점에서 혁신적이다. System One은 경량 비전 인코더, 세그멘테이션, OCR을 이용해 현재 프레임과 이전 프레임 간 구조적 변화를 키프레임 비교(KFC) 모듈로 감지한다. 변화를 감지하면 사전에 VLM이 생성해 둔 “조건‑액션 테이블”과 현재 시각·텍스트 묘사를 매칭해 가장 유사한 조건을 찾아 즉시 행동을 결정한다. 이 과정은 0.7 초 이하의 서브‑초 지연으로 수행된다. System Two는 조건 매칭이 불충분하거나 복합적인 의미 해석이 요구될 때만 압축 VLM을 호출한다. 여기서 VLM은 목표 설명과 주변 환경을 입력받아 “방 번호가 보이면 좌회전”과 같은 고차원 논리를 도출한다. 특히 텍스트 정보 증강을 위해 OCR 결과를 프롬프트에 직접 삽입함으로써, 공간 인식이 약한 소형 VLM의 정확도를 크게 끌어올린다. 논문은 5개 실제 건물에서 30 % 이상의 이동 시간을 절감하고, 전체 판단 정확도를 16 %p 상승시킨 실험 결과를 제시한다. 또한, 시스템 파라미터(유사도 임계값, 세그멘테이션 granularity 등)를 조정해 다양한 하드웨어 사양에 맞게 튜닝 가능함을 보인다. 전체적으로 IROS는 “언제 VLM을 쓰고 언제 경량 모듈로 대체할 것인가”라는 실용적 질문에 체계적인 답을 제공하며, 온‑디바이스 실시간 로봇 내비게이션에 대한 새로운 설계 패러다임을 제시한다.