에이전트형 LLM 로봇 조작 프레임워크 ALRM

초록

ALRM은 대형 언어 모델(LLM)을 활용해 로봇 조작을 위한 에이전트형 구조를 제안한다. ReAct 스타일의 사고‑행동‑관찰 루프를 도입해 두 가지 실행 모드, 코드‑as‑Policy(CaP)와 Tool‑as‑Policy(TaP)를 지원한다. 56개의 다중 환경·다양한 언어 지시를 포함한 새로운 시뮬레이션 벤치마크를 구축하고, 10개 LLM을 평가한 결과 Claude‑4.1‑Opus가 폐쇄형 모델 중 최고 성능을, Falcon‑H1‑7B가 오픈소스 모델 중 최고 성능을 보였다.

상세 분석

본 논문은 LLM을 로봇 조작 파이프라인에 통합하는 두 가지 핵심 문제를 짚는다. 첫째, 기존 LLM 기반 접근법은 정적 계획에 머물러 실행 중 피드백을 반영하거나 재계획하는 메커니즘이 부족했다. 둘째, 기존 조작 벤치마크는 저수준 제어에 초점을 맞추어 다단계 추론이나 언어 다양성을 충분히 평가하지 못했다. 이를 해결하기 위해 저자들은 ReAct 프레임워크를 차용한 에이전트형 루프를 설계하였다. 루프는 ‘생각(Thought) → 행동(Action) → 관찰(Observation)’ 순환으로, 고수준 사용자 명령을 점진적으로 세분화하고 실행 결과를 실시간으로 반영한다.

ALRM의 두 실행 모드가 갖는 트레이드오프도 상세히 분석된다. CaP 모드에서는 LLM이 전체 서브태스크에 대한 파이썬 코드를 한 번에 생성하고, 이를 즉시 실행한다. 이 방식은 LLM 호출 횟수가 적어 지연이 낮고, 툴 호출을 지원하지 않는 모델도 활용 가능하지만, 코드에 작은 오류가 있으면 전체 서브태스크가 실패하는 취약점이 있다. 반면 TaP 모드에서는 LLM이 사전 정의된 툴(예: get_objects, pick, place 등)을 순차적으로 호출한다. 각 호출마다 관찰을 받아 재조정할 수 있어 오류 복구와 미세 조정이 용이하지만, 호출 횟수가 늘어나고 툴 호출을 정확히 수행해야 하는 부담이 있다.

벤치마크 설계 측면에서는 3가지 시뮬레이션 환경(주방 도구, 상자, 과일)과 56개의 과제(언어 변형·다중 객체·추론 요구)로 구성하였다. 과제 난이도는 사전·후처리 수준, 객체 선택 기준(예: 칼로리 최저), 순차적 pick‑and‑place 등으로 계층화돼 LLM의 고차원 추론 능력을 체계적으로 측정한다. 평가 지표는 성공률과 평균 실행 지연을 사용했으며, 각 모델을 CaP와 TaP 두 모드 모두에서 테스트했다.

실험 결과, Claude‑4.1‑Opus는 CaP와 TaP 모두에서 92% 이상 성공률을 기록하며 가장 일관된 성능을 보였다. 오픈소스 영역에서는 Falcon‑H1‑7B가 84.3% 성공률로 DeepSeek‑V3.1과 동등하지만 지연이 절반 수준으로 효율성을 입증했다. 또한, CaP 모드가 전반적으로 TaP보다 빠른 반면, 복잡한 추론이 요구되는 고난이도 과제에서는 TaP가 오류 복구 능력 덕분에 더 높은 성공률을 보이는 경향이 있었다.

이러한 분석을 통해 ALRM이 LLM 기반 로봇 조작에서 모듈성, 해석 가능성, 폐쇄‑루프 피드백을 동시에 제공하는 효과적인 아키텍처임을 확인할 수 있다. 특히, 코드와 툴 두 가지 실행 경로를 병행함으로써 모델 선택의 유연성을 높이고, 다양한 실시간 시나리오에 적용 가능하도록 설계된 점이 큰 강점이다.