대형 언어 모델 기반 모델 조정과 협업 복구를 통한 보조 로봇 설명 프레임워크

초록

본 논문은 보조 로봇과 사용자가 공유 제어 상황에서 발생하는 모델 불일치를 대형 언어 모델(LLM)로 자동 추론·설명하고, 사용자가 자연어로 로봇의 내부 모델을 수정할 수 있도록 하는 양방향 모델 조정(framework)을 제안한다. 실제 휠체어 기반 모바일 매니퓰레이터와 디지털 트윈을 이용한 실험을 통해 설명 정확도와 복구 성공률을 검증하였다.

상세 분석

이 연구는 인간‑로봇 협업에서 “모델 조정(model reconciliation)”이라는 개념을 실용적인 시스템 수준으로 확장한 점이 가장 큰 혁신이다. 기존 AI 플래닝 기반 설명 방법은 인간의 정신 모델을 완전하게 알 필요가 있다는 비현실적인 전제를 두었지만, 본 논문은 LLM을 활용해 인간의 자연어 질의를 의미론적으로 파싱하고, 로봇이 보유한 정적 객체 데이터베이스, 동적 세계 모델, 행동 전제(precondition) 그래프와 매칭함으로써 모델 차이를 자동으로 추정한다. 특히 5가지 차이 유형(D_GO, D_SO, D_GA, D_SA, FD)을 정의하고, 각각에 대응하는 설명 템플릿을 LLM에게 제공함으로써 상황에 맞는 원인 분석을 자연어로 반환한다.

설명 단계에서는 LLM이 질의에서 동작·대상(예: “greenish cup”)을 추출하고, 객체 데이터베이스와 유사도 매칭을 수행한다. 매칭 실패 시 D_GO(일반 객체 지식 부재)로 분류하고, 객체가 존재하지만 현재 장면에 인식되지 않은 경우 D_SO, 행동 전제가 충족되지 않은 경우 D_SA 등으로 단계별로 전진한다. 이 과정은 흐름도(Fig. 3)와 프롬프트 설계가 핵심이며, LLM이 로봇 내부 심볼(예: mug_green$2)과 자연어를 연결하는 “semantic grounding”을 수행한다는 점이 주목할 만하다.

복구 단계에서는 사용자가 LLM이 제시한 설명에 반박하거나 직접 수정 명령을 입력하면, VLM(Vision‑Language‑Model)이 시각 정보를 재해석하거나 로봇의 세계 모델을 직접 업데이트한다. 예를 들어, “drawer is actually closed”라는 반박이 들어오면 로봇은 카메라 시점 조정 명령을 제안하거나, 해당 객체의 상태 플래그를 강제로 전환한다. 논문은 D_GO와 D_GA와 같은 일반 지식 추가는 전문가 모듈이 필요하므로 현재는 D_SO와 D_SA에 한정해 복구를 구현했으며, 이는 실시간 복구 가능성을 크게 높인다.

실험에서는 실제 휠체어 기반 모바일 매니퓰레이터와 동일한 환경을 시뮬레이션한 디지털 트윈을 사용해 30여 개의 일상 작업 시나리오를 수행하였다. 결과는 (1) LLM 기반 모델 차이 추정 정확도 92 %, (2) 자연어 설명 성공률 88 %, (3) 인간 주도 복구 성공률 81 %로, 기존 플래닝 기반 설명 시스템 대비 유의미하게 향상된 것을 보여준다. 또한, 인간‑로봇 신뢰도 설문에서 설명을 받은 그룹이 평균 1.4점(5점 척도) 높은 신뢰도를 보고하였다.

이 논문의 한계는 (i) LLM의 출력이 때때로 과도하게 상세하거나 불필요한 정보를 포함할 수 있어 후처리 비용이 발생한다는 점, (ii) 현재는 정적 객체 데이터베이스와 사전 정의된 행동 전제에 의존하므로 완전한 개방형 환경에서는 적용이 어려울 수 있다는 점이다. 향후 연구에서는 지속적인 온라인 학습을 통한 객체·행동 지식 자동 확장과, 멀티모달 피드백(음성·제스처·촉각)을 통합한 복구 인터페이스를 탐색할 필요가 있다.