지식그래프 기반 다중 로봇 계획 및 재계획 프레임워크

초록

KGLAMP은 객체 관계·공간 도달성·로봇 능력을 인코딩한 지식그래프를 활용해 LLM이 정확한 PDDL 도메인·문제 파일을 생성하도록 돕는다. 동적 환경에서 관측을 그래프에 반영하고 일관성을 검증해 필요 시 재계획을 수행한다. MAT‑THOR 벤치마크에서 기존 LLM‑only 및 전통 PDDL 방식 대비 25.5% 이상 성능 향상을 보였다.

상세 분석

본 논문은 이질적인 로봇 집단이 장기 임무를 수행할 때 발생하는 ‘심볼릭 모델링 부정확성’과 ‘환경 변화에 대한 적응성 부족’ 문제를 해결하고자 한다. 핵심 아이디어는 세 종류의 서브 그래프(관계 G_relation, 속성 G_property, 도달성 G_reach)로 구성된 통합 지식그래프를 구축하고, 이를 LLM 프롬프트에 삽입해 단계별로 목표, 관계, 속성, 도달성 정보를 추출하도록 설계한 점이다.

1️⃣ 지식그래프 설계:

• 관계 그래프는 (object A, on, object B)와 같은 공간·논리적 관계를 저장해 행동 전제조건을 명시한다.
• 속성 그래프는 로봇의 기능(예: has_capability pickup)과 객체의 물리적 속성(예: is_heavy) 등을 포함해 행동 가능성을 제한한다.
• 도달성 그래프는 (location 1, connected_to, location 2) 형태로 이동 가능 경로를 모델링해 네비게이션 제약을 제공한다.

이러한 구조는 LLM이 한 번에 방대한 컨텍스트를 처리해야 하는 부담을 줄이고, 각 서브 그래프별로 특화된 프롬프트를 사용해 정확한 트리플을 추출하도록 만든다. 결과적으로 LLM이 생성한 PDDL의 객체 라벨, 프리컨디션, 이펙트 오류가 현저히 감소한다.

2️⃣ LLM‑기반 PDDL 생성 파이프라인:

• Goal Extraction 단계에서 자연어 명령을 그래프에 존재하는 객체 리스트와 매핑해 구체적인 목표 술어를 만든다.
• Relation Inference는 G_relation을 기반으로 목표 달성에 필요한 객체‑객체 관계를 도출한다.
• Property Assignment는 G_property을 참조해 각 객체·로봇의 속성을 할당, 불가능한 행동을 사전에 차단한다.
• Reachability Extraction는 G_reach를 활용해 이동 경로와 위치 제약을 명시, 네비게이션 플래너와의 연계를 용이하게 한다.

각 단계는 독립적인 LLM 에이전트가 수행하며, 출력은 차례대로 PDDL 도메인·문제 파일에 삽입된다.

3️⃣ 동적 재계획 메커니즘:
실행 중 실패(예: 물체가 예상 위치에 없거나 로봇이 경로를 차단당함)가 감지되면 Vision‑Language Model(VLM)이 최신 시각 정보를 그래프에 반영한다. 그래프 업데이트 후 알고리즘 1에 따라 재생성된 PDDL를 다시 풀어 새로운 행동 시퀀스를 도출한다. 이 과정은 ‘지식 그래프 → LLM → PDDL → 플래너 → 실행 → 그래프 업데이트’의 순환으로, 환경 변화에 실시간으로 적응한다.

4️⃣ 실험 및 성능:
MAT‑THOR 시뮬레이션에서 이질적인 로봇(픽업 로봇, 이동 로봇, 조리 로봇 등) 3종을 사용해 복합적인 주방·거실 작업을 수행하였다. KGLAMP은 LLM‑only 기반 플래너와 전통 PDDL 플래너 대비 성공률이 각각 25.5%·18.3% 상승했으며, 평균 재계획 횟수는 1.2회로 감소했다. 특히 객체 관계가 복잡한 시나리오에서 그래프 기반 전처리가 오류를 크게 억제한 것이 확인되었다.

5️⃣ 한계와 향후 과제:

• 현재 그래프 구축은 사전 정의된 관계·속성 타입에 의존하므로, 완전한 오픈‑월드 상황에서는 확장성이 제한될 수 있다.
• LLM과 VLM의 추론 비용이 실시간 로봇 운영에 부담이 될 가능성이 있어 경량화 모델이나 캐시 전략이 필요하다.
• 다중 로봇 간 통신 지연을 고려한 분산 그래프 동기화 메커니즘이 향후 연구 방향으로 제시된다.

전반적으로 KGLAMP은 구조화된 지식 그래프와 대형 언어 모델을 결합해 이질적인 다중 로봇 시스템의 심볼릭 플래닝 정확도와 적응성을 동시에 향상시킨 혁신적인 프레임워크라 할 수 있다.