시각언어모델 기반 동역학 통합 TAMP: 하이브리드 트리와 인터리브 샘플링

초록

**
본 논문은 시각언어모델(VLM)을 활용해 작업·동작 계획을 동시에 탐색하는 새로운 kinodynamic TAMP 프레임워크를 제안한다. 하이브리드 상태 트리를 도입해 기호적·연속적 상태를 통합하고, 물리 시뮬레이터와 기존 모션 플래너로 동역학 제약을 검증한다. VLM은 시각적 렌더링을 기반으로 탐색을 가이드하고, 실패 시 백트래킹 후보를 제시한다. 실험 결과, 기존 순차·샘플링 방식 대비 성공률이 32%~1166% 향상되고, 복잡한 문제에서 계획 시간이 크게 감소한다.

**

상세 분석

**
이 연구는 기존 TAMP 접근법이 갖는 두 가지 근본적인 한계를 동시에 해결한다. 첫째, 순차‑first 방식은 기호적 계획이 완성된 뒤 연속적 제약을 만족시키려다 반복적인 CSP 해결로 인한 시간 폭증을 초래한다. 둘째, satisfaction‑first 방식은 무분별한 샘플링으로 인해 불필요한 연산이 급증한다. 논문은 이러한 문제를 “하이브리드 상태 트리(Hybrid State Tree)”라는 새로운 탐색 구조로 통합한다. 하이브리드 트리는 기호적 상태 S와 연속적 상태 X의 데카르트 곱 H=S×X를 노드로 삼아, 각 노드가 동일한 기호적 상태라도 서로 다른 연속적 파라미터(물체 위치, 로봇 관절값, 궤적 등)를 가질 수 있도록 설계한다. 이를 통해 탐색 과정에서 기호적·연속적 결정이 동시에 이루어지며, 불필요한 샘플링을 최소화한다.

키 포인트는 두 단계의 검증 메커니즘이다. (1) 모션 플래너는 샘플링된 궤적이 충돌·관절 제한을 만족하는지 빠르게 판단한다. (2) 물리 시뮬레이터는 관성, 힘, 그립 안정성, 물체 정적·동적 안정성 등 kinodynamic 제약을 검증한다. 이중 검증을 통해 계획된 행동이 실제 로봇에서 실행 가능함을 보장한다.

또 다른 혁신은 시각언어모델(VLM) 기반 백트래킹이다. 각 하이브리드 노드가 시각적으로 렌더링된 이미지와 함께 VLM에 입력되면, VLM은 “이 상태가 왜 확장되지 못했는가”를 텍스트·이미지 기반 추론으로 판단하고, 백트래킹할 후보 노드를 제시한다. 기존 연구가 텍스트 프롬프트만 이용해 재시도하는 데 반해, VLM은 시각적 힌트를 활용해 보다 직관적인 복구 경로를 선택한다. 실험에서는 VLM 가이드 백트래킹이 없는 경우 대비 성공률이 평균 2배 이상 상승했으며, 특히 복잡한 주방(Kitchen) 도메인에서 10배 이상의 향상을 보였다.

알고리즘 흐름은 다음과 같다. (i) Top‑k 기호 플래너가 다양한 작업 스켈레톤을 생성해 이산 그래프 G를 만든다. (ii) 하이브리드 트리의 현재 노드 hₜ에 대해 G의 해당 기호 노드에서 가능한 액션 집합을 추출한다. (iii) 각 액션에 대해 연속 파라미터를 샘플링하고, 모션 플래너·시뮬레이터로 검증한다. (iv) 검증 실패 시 K번까지 재시도하고, 여전히 실패하면 VLM에 현재 시각 상태를 전달해 백트래킹 후보 hᵣ를 얻는다. (v) hᵣ에서 탐색을 재개한다. 이 과정을 목표 도달 혹은 시간 초과 시까지 반복한다.

실험은 두 개의 시뮬레이션 도메인(Blocksworld, Kitchen)과 실제 로봇 실험으로 구성되었다. 비교 대상은 전통적인 도메인‑독립 TAMP 플래너와 LLM 기반 TAMP 플래너이다. Blocksworld에서는 평균 성공률이 32.14%~105.56% 향상됐으며, Kitchen에서는 280%~1166.67%까지 급증했다. 또한 복잡한 장면에서 계획 시간은 기존 방법 대비 40%~70% 감소했다. Ablation study에서는 VLM 가이드가 없는 경우 성공률이 15%~30% 낮아지는 등, VLM의 역할이 핵심임을 입증했다.

한계점으로는 VLM의 추론 비용이 비교적 높아 실시간 적용에 추가 최적화가 필요하고, VLM이 제공하는 백트래킹 후보가 항상 최적은 아니므로 탐색 효율성을 더 높이는 휴리스틱이 요구된다. 또한 물리 시뮬레이터와 모션 플래너의 정확도에 크게 의존하므로, 실제 로봇 환경에서의 불확실성을 다루는 확장 연구가 필요하다.

**