LLM 기반 인간 인식 다중 로봇 협업을 위한 계층형 LTL 동적 계획 프레임워크

초록

본 논문은 대형 언어 모델(LLM)의 자연어 이해 능력을 계층형 선형시계열논리(H‑LTLᶠ)와 결합하여, 인간이 움직이거나 지시가 변하는 동적 환경에서도 실시간으로 다중 로봇의 작업 할당·경로 계획을 수행하는 신경‑심볼릭 시스템을 제안한다. 재밍 호라이즌 플래닝(RHP) 루프를 통해 인식·예측된 환경 변화를 즉시 반영하고, A* 기반 최적 탐색으로 실행 시간·에너지 비용을 최소화한다. 실제 인간‑로봇 협업 실험에서 기존 LLM‑플래너와 정적 LTL 플래너 대비 성공률·상호작용 유연성이 크게 향상되었으며, 계획 지연도 현저히 감소하였다.

상세 분석

이 연구는 두 가지 기존 패러다임의 한계를 동시에 해결한다. 첫째, LLM·VLM 기반 플래너는 개방형 자연어 명령을 해석해 서브태스크 시퀀스를 생성하지만, 동역학적 타당성·다중 로봇 간의 시공간 제약을 보장하지 못한다. 둘째, 전통적인 LTL·자동차 기반 형식 방법은 정적 세계 모델에 의존해 복잡한 장면 변화에 취약하고, 상태공간이 급증하면서 계산 비용이 폭발한다. 논문은 이를 극복하기 위해 (1) LLM이 생성한 계층형 팀 모델을 H‑LTLᶠ 형태로 구조화하고, 각 leaf 스펙을 NF‑A로 변환해 로봇의 전이 시스템과 카르테시안 곱을 수행함으로써 ‘제품 팀 모델’을 만든다. (2) 두 종류의 내부 전이(ζ₁ᵢₙ, ζ₂ᵢₙ)와 두 종류의 인터‑스펙 전이(ζ₁ᵢₙₜₑᵣ, ζ₂ᵢₙₜₑᵣ)를 정의해 순차·동시 협업, 작업 전환, 진행 흐름을 명시적으로 모델링한다. (3) 재밍 호라이즌 플래닝 루프를 도입해 매 서브태스크 완료 시점마다 현재 관측 상태와 인간 궤적 예측을 반영해 A* 탐색을 재실행한다. 이때 인간의 움직임·물체 이동·지시 변경 등 네 가지 불확실성을 ‘인간 위치 변화(H‑MO‑VE)’, ‘물체 이동(O‑MO‑VE)’, ‘목표 변경(GO‑AL)’, ‘자원 충돌(RES)’으로 구분하고, 각각에 대한 즉시 안전 차단·재계획 메커니즘을 제공한다. 실험에서는 3대 로봇(2팔 로봇+이동형 플랫폼)과 2명의 인간이 참여한 실제 환경에서 “A에게 물병을, B에게 과자를 전달” 같은 복합 명령을 수행했으며, 제안 시스템은 평균 성공률 92 %·플래닝 지연 0.35 s를 기록, 기존 LLM‑플래너(68 %·1.2 s)와 정적 LTL 플래너(75 %·0.9 s)를 크게 앞섰다. 이러한 결과는 고차원 의미 해석과 형식적 보증을 동시에 만족시키는 신경‑심볼릭 접근이 실시간 인간‑로봇 협업에 실용적임을 입증한다.