시각언어모델을 활용한 사전 제약 기반 작업과 운동 계획

초록

본 논문은 대형 사전학습 시각‑언어 모델(VLM)의 공간·물리 상식 추론을 이용해 작업‑운동 계획(TAMP)에서 발생하는 하향 정제 실패를 사전에 예측하고, 이를 SMT 기반 플래너에 제약으로 삽입함으로써 전체 계획 시간을 크게 단축시키는 VIZ‑COAST 방법을 제안한다. 실험 결과, 세 가지 복잡한 도메인에서 제약 생성만으로 재계획 횟수를 크게 줄이고, 일부 경우에는 정제 실패 자체를 제거하였다.

상세 분석

VIZ‑COAST는 TAMP 문제의 핵심 병목인 “하향 정제 실패”(symbolic plan이 실제 로봇 동작으로 구현되지 못함)를 사전에 차단하는 새로운 패러다임을 제시한다. 기존 접근법은 주로 계획 실행 중에 발생한 정제 실패를 감지하고, 그때마다 추가 제약을 생성해 재계획을 수행한다. 이는 실패한 경로를 탐색하는 데 많은 연산 비용을 소모하고, 동일한 실패 패턴이 반복될 경우 비효율이 가중된다. VIZ‑COAST는 이러한 비효율을 근본적으로 해소한다. 먼저, 도메인에 대한 PDDL 정의와 초기 장면 이미지·기하학 정보를 VLM에 입력한다. VLM은 “이 물체가 다른 물체에 의해 가려져 있어 잡을 수 없다”와 같은 직관적인 물리·공간 관계를 자연어로 추론하고, 이를 제약식으로 변환하도록 프롬프트한다. 변환된 제약은 Z3 SMT 솔버의 파이썬 API를 통해 직접 삽입되며, 기존 PDDL 파일을 수정할 필요가 없으므로 플래너와의 호환성이 높다. 특히, VLM이 제공하는 제약은 “닫힌 용기 안의 물체는 pick 혹은 place 할 수 없다”처럼 도메인 전반에 일반화 가능한 형태이기 때문에, 한 번 생성된 제약이 동일 도메인의 다양한 인스턴스에 재사용될 수 있다.

기술적으로는 VLM의 추론 정확도가 전체 시스템 성능에 직접적인 영향을 미친다. 논문은 CLIP‑ 기반 모델을 사용했으며, 2단계 프롬프트(문제 인식 → 제약 코드 생성)와 실패 피드백 루프를 통해 초기 제약이 충분하지 않을 경우 자동으로 보강한다. 이 과정은 “제약 부족 → 플래너 실패 → VLM 재질문 → 제약 추가”라는 폐쇄형 피드백을 형성해, 최종적으로 플래너가 탐색하는 검색 공간을 크게 축소한다.

실험에서는 세 가지 도메인(테이블 위 물체 정리, 컨테이너 내부 물체 조작, 복합 방 탐색)에서 기존 PDDLStream, IDTMP, COAST와 비교하였다. VIZ‑COAST는 평균 계획 시간이 40%~70% 감소했으며, 특히 컨테이너 도메인에서는 정제 실패가 0%로 감소했다. 이는 VLM이 “용기가 닫혀 있으면 내부 물체를 직접 잡을 수 없다”는 제약을 정확히 포착했기 때문이다.

한계점으로는 VLM이 이미지·텍스트 해석에 의존하므로, 조명 변화나 복잡한 겹침 상황에서 오탐이 발생할 수 있다. 또한, 제약을 파이썬 코드로 변환하는 단계에서 언어 모델의 코드 생성 능력이 제한적일 경우 수동 교정이 필요할 수 있다. 향후 연구에서는 멀티모달 프롬프트 최적화와 자동 코드 검증 메커니즘을 도입해 이러한 오류를 최소화하고, 더 다양한 로봇 플랫폼과 실시간 환경에 적용하는 방안을 모색한다.