LLM 기반 다중 로봇 협업을 위한 컨포멀 프레딕션 기반 효율적 통신 프레임워크

초록

본 논문은 다중 로봇이 자연어 질문에 답하기 위해 협업하는 새로운 문제인 MM‑EQA(멀티‑에이전트 멀티‑태스크 Embodied Question Answering)를 정의하고, LLM의 출력 신뢰도를 컨포멀 프레딕션으로 보정하여 불필요하거나 오답이 포함된 메시지를 차단하는 통신 프레임워크 CommCP를 제안한다. 포토리얼리틱 가정 시나리오와 HM3D 기반 벤치마크 실험을 통해 기존 방법 대비 성공률과 탐색 효율이 크게 향상됨을 입증한다.

상세 분석

CommCP 논문은 로봇 서비스 분야에서 “명령 → 질문 → 탐색 → 답변”이라는 전형적인 파이프라인을 다중 로봇이 동시에 수행해야 하는 상황을 MM‑EQA라는 새로운 문제 정의로 확장한다. 기존의 단일 로봇 EQA 연구와 달리, 각 로봇은 서로 다른 조작 능력과 전용 과제를 가지고 있으며, 서로의 질문과 관측 정보를 공유함으로써 탐색 비용을 최소화하고 답변 정확도를 높여야 한다. 이때 핵심 도전 과제는 통신의 신뢰성이다. LLM은 자연어 기반의 풍부한 추론 능력을 제공하지만, 과잉 자신감(over‑confidence)과 잘못된 확신으로 인해 부정확한 정보를 전파할 위험이 있다.

논문은 이러한 위험을 완화하기 위해 컨포멀 프레딕션(Conformal Prediction, CP) 을 도입한다. LLM이 각 관측 객체에 대해 옵션(A: 직접 목표 객체, B: 관련 객체, C/D: 무관)과 해당 옵션에 대한 확률 pₖ를 출력하면, 이 확률을 신뢰도 점수(conformity score)로 사용한다. Split‑CP 방식을 적용해 옵션 A와 B 각각에 대해 별도의 캘리브레이션 세트(Z_A^cal, Z_B^cal)를 구축하고, 사전에 수집한 20개의 HM3D 시나리오에서 정답 라벨을 통해 임계값을 추정한다. 테스트 단계에서는 pₖ가 임계값을 초과하는 경우에만 해당 객체를 메시지에 포함시켜, 예측 집합(prediction set) 을 형성한다. 이렇게 하면 지정된 신뢰 수준(예: 90%) 이하의 오류율을 보장하면서, 불필요하거나 오해를 일으킬 수 있는 정보를 사전에 차단한다.

통신 프로토콜은 자연어 텍스트 형태이며, 각 로봇은 Perception → Reasoning → Confidence Check → Communication 순서로 동작한다. Perception 단계에서는 VLM(Visual Language Model)을 이용해 RGB‑Depth 이미지에서 객체와 색상을 추출하고, 이를 LLM에 전달해 “관측 객체가 파트너의 목표와 얼마나 연관성이 있는가”를 판단한다. Confidence Check에서는 CP로 보정된 옵션 확률을 검증하고, 충분히 높은 신뢰도가 있으면 파트너에게 객체 정보를 전송하거나 직접 답변을 제공한다. Planning 모듈은 각 로봇이 받은 메시지를 2D 가중 의미값 지도(semantic value map)에 투영해 탐색 경로를 재조정한다.

실험에서는 HM3D 기반의 포토리얼리틱 가정 환경 10개 시나리오에 대해 3대 로봇(각기 다른 조작 능력)으로 구성된 MM‑EQA 벤치마크를 구축하였다. Baseline으로는 (1) 독립적 단일 로봇 EQA, (2) LLM 기반 무보정 통신, (3) 기존 규칙 기반 통신을 사용하였다. 결과는 CommCP가 성공률을 평균 23%p 상승시키고, 평균 탐색 시간(Tₘₐₓ)도 31% 감소시켰으며, 특히 복잡한 다중 질문 상황에서 오답 전파를 크게 억제함을 보여준다. Ablation study에서는 CP 없이 순수 LLM 출력만 사용할 경우 성공률이 15%p 이하로 떨어지고, 옵션 B에 대한 별도 캘리브레이션을 생략하면 메시지량이 2배 이상 증가해 통신 비용이 급증한다는 점을 확인하였다.

핵심 인사이트는 **“LLM의 풍부한 언어·추론 능력은 그대로 유지하되, 통계적 보정 기법을 통해 신뢰도만을 정량화하면 다중 로봇 협업에서 발생할 수 있는 정보 오염을 효과적으로 억제할 수 있다”**는 것이다. 또한, 컨포멀 프레딕션을 이용한 예측 집합 접근법은 로봇 간 자연어 통신뿐 아니라 인간‑로봇 인터페이스에서도 신뢰성 높은 정보 교환을 설계하는 일반적인 템플릿으로 활용 가능할 것으로 기대된다.