레시피마스터LLM 로보어스 재탄생

초록

**
본 논문은 클라우드 로보틱스 기반 지식 그래프인 RoboEarth에 대규모 언어 모델(LLM)을 접목시켜, 행동 레시피를 자동으로 생성·갱신하는 고수준 플래너 RecipeMasterLLM을 제안한다. 오픈소스 CodeLLaMa를 QLoRA로 미세조정하고, 디지털 트윈(환경) 지식을 RAG 방식으로 제공해 로봇이 사용자 명령을 자연어로 입력하면 OWL 액션 온톨로지를 즉시 생성·RKG에 삽입하도록 설계하였다.

**

상세 분석

**
이 연구는 10년 전 RoboEarth가 제시한 “로봇을 위한 월드 와이드 웹”이라는 비전을 LLM 시대에 맞게 재구성한다는 점에서 의미가 크다. 기존 RoboEarth는 엔지니어가 RDF 트리플을 손수 작성하고, 로봇이 실시간으로 포즈 변화를 assert하는 방식으로 지식 획득을 수행했으며, 확장성에 한계가 있었다. 저자들은 이러한 병목을 LLM 기반 자동화로 해소하고자 두 단계 파이프라인을 설계한다.

첫 번째 단계에서는 CodeLLaMa‑13B를 QLoRA(4‑bit 양자화) 기법으로 메모리 효율적인 미세조정을 수행한다. 학습 데이터는 RoboEarth에서 추출한 350개의 액션 레시피와 GPT‑4가 자동 생성한 레시피를 포함하며, OpenAssistant Guanaco 형식으로 정제하였다. 이렇게 만든 “학생” 모델은 작은 파라미터 규모에도 불구하고 코드‑형식(프로그래밍) 지식에 강점을 가지므로, 로봇 행동 시퀀스를 논리적·구조적으로 표현하는 데 유리하다.

두 번째 단계는 Retrieval‑Augmented Generation(RAG)이다. LlamaIndex와 bge‑small‑en‑v1.5 임베딩을 활용해 디지털 트윈(환경의 시맨틱 맵)에서 최신 상황 정보를 벡터 검색으로 추출한다. 검색된 컨텍스트는 프롬프트에 결합돼 LLM이 환경‑특화된 레시피를 생성하도록 돕는다. 이 과정은 실시간 환경 변화(예: 물체 위치 이동)에 대한 즉각적인 반영을 가능하게 하며, 전체 파이프라인의 응답성을 크게 향상시킨다.

생성된 레시피는 OWL TBox와 ABox 형태로 RoboEarth Knowledge Graph(RKG)에 assert된다. RKG는 SWI‑Prolog 기반 추론 엔진을 사용해 RDF 트리플을 논리적으로 연결하고, 로봇 제어 실행기(RCE)가 프로그래밍된 액션 호출 파라미터를 질의한다. 논문은 알고리즘 1을 통해 RCE가 레시피를 순차적으로 파싱하고, 필요 시 capability mismatch를 감지해 안전하게 abort하는 흐름을 제시한다.

기술적 강점은 다음과 같다. (1) 오픈소스 LLM을 활용해 클라우드 로보틱스 환경에 종속되지 않는 독립적인 배포가 가능하고, (2) QLoRA와 RAG를 결합해 작은 모델이라도 최신 환경 지식에 빠르게 적응한다. (3) 기존 RoboEarth의 OWL 온톨로지와 완전 호환되므로, 기존 KnowRob 툴체인과 연동이 자연스럽다.

하지만 몇 가지 한계도 눈에 띈다. 첫째, 실험 결과가 부재하여 레시피 정확도, 성공률, 실행 시간 등에 대한 정량적 평가가 부족하다. 둘째, 디지털 트윈 구축 비용과 유지 관리가 실제 현장에 적용될 때 큰 부담이 될 수 있다. 셋째, LLM이 생성한 레시피의 논리적 일관성을 보장하기 위한 검증 메커니즘이 미비하다(예: 플래너와의 통합 검증, 형식 검증). 마지막으로, 현재는 13B 규모 모델에 국한돼 있어 복잡한 다중 로봇 협업 시나리오에는 확장성이 제한될 수 있다.

향후 연구 방향으로는 (a) 자동 검증 파이프라인(형식 검증·시뮬레이션 기반 검증) 도입, (b) 멀티‑모달 입력(비전·포스 센서)과 결합한 RAG 확장, (c) 대규모 멀티‑로봇 실험을 통한 성능 벤치마크 구축이 제안된다.

**