언어 기반 로봇 조작을 위한 통합 플래닝 파이프라인

초록

Lang2Manip은 대형 언어 모델(LLM)로 생성된 상징적 작업 계획을 Kautham 모션 플래너와 연결해, 로봇 종류와 플래닝 방식에 구애받지 않는 자동화된 기하학·동역학 경로 생성 파이프라인을 제공한다.

상세 분석

Lang2Manip은 현재 로봇 조작 연구에서 빈번히 지적되는 “시스템 종속성” 문제를 근본적으로 해결한다는 점에서 의미가 크다. 기존의 PyBullet·MoveIt 기반 접근법은 특정 로봇 URDF나 특정 플래너에 맞춰 코드를 수정해야 하는 번거로움이 있었으며, 새로운 로봇을 도입하거나 플래너를 교체할 때마다 상당한 엔지니어링 비용이 발생했다. 반면 본 논문은 Kautham이라는 ROS‑호환 오픈소스 플래닝 프레임워크를 중간 계층으로 활용한다. Kautham은 URDF 임포트, XML 기반 문제 정의, 다중 플래너(기하학, kinodynamic, physics‑driven, constraint‑based) 지원을 기본 제공하므로, LLM이 생성한 상징적 액션을 그대로 전달하면 로봇 모델·장면·플래너를 자동으로 매핑한다.

핵심 기술은 세 가지로 정리할 수 있다. 첫째, 액션 문법을 사전에 정의해 LLM이 {pick, place, move, push}와 같은 제한된 어휘와 고정된 파라미터 구조(JSON)만을 출력하도록 강제한다. 이는 파싱 오류와 의미 불일치를 최소화한다. 둘째, 프롬프트 설계는 사용자 목표 문장, 시스템 프롬프트(액션 스키마·출력 포맷), 현재 환경의 텍스트화(state observation)를 하나의 입력으로 결합한다. 특히 Kautham의 상태 관찰 모듈이 로봇 관절값, 장애물 위치, 공간 관계 등을 자연어 형태로 제공함으로써 LLM이 상황 인식을 할 수 있게 한다. 셋째, Kautham 연동은 XML 문제 파일에 로봇·장애물 URDF 경로, 초기·목표 관절값, 선택 플래너 등을 선언하고, ROS 인터페이스를 통해 실시간으로 플래너를 호출한다. GUI와 RViz 시각화는 디버깅과 결과 검증을 용이하게 만든다.

이러한 설계는 로봇·플래너 독립성을 실현한다. 동일한 LLM‑생성 계획을 KUKA, ABB, UR5, Panda 등 다양한 산업 로봇에 적용할 수 있으며, RRT, RRTConnect, CHOMP 등 원하는 플래너만 교체하면 된다. 또한 플래너 교체 시 코드 수정이 전혀 필요 없다는 점은 연구 재현성과 확장성을 크게 높인다.

하지만 몇 가지 한계도 존재한다. 현재 논문은 실험 결과가 거의 제시되지 않아 실제 복잡한 조작 시나리오(다중 물체, 동적 장애물, 비정형 그립)에서의 성능을 검증하기 어렵다. 또한 LLM이 생성한 파라미터(예: grasp direction, 목표 포즈)의 정확성에 크게 의존하는데, 이를 검증하거나 보정하는 메커니즘이 부족하다. 마지막으로 Kautham 자체가 OMPL 기반 샘플링 플래너에 초점이 맞춰져 있어, 최신 최적화 기반 플래너나 학습 기반 모션 플래너와의 호환성은 추가 연구가 필요하다.

전반적으로 Lang2Manip은 LLM과 로봇 모션 플래너 사이의 “시멘틱 갭”을 메타데이터와 구조화된 프롬프트를 통해 메우는 실용적인 아키텍처를 제시한다. 로봇 연구자와 개발자가 언어 기반 작업 정의를 빠르게 시뮬레이션에 연결하고, 다양한 로봇·플래너 조합을 실험할 수 있는 기반을 제공한다는 점에서 큰 기여를 한다.