데모 없이 로봇을 제어하는 새로운 방법, LLM 에이전트 기반 FAEA

초록

본 논문은 대규모 언어 모델(LLM) 에이전트 프레임워크를 그대로 로봇 조작에 적용한 FAEA(Frontier Agent as Embodied Agent)를 제안한다. Claude Agent SDK의 ReAct 루프를 이용해 시뮬레이션 환경에서 반복적으로 스크립트를 생성·실행하고, 성공적인 궤적을 찾는다. LIBERO, ManiSkill3, MetaWorld 벤치마크에서 각각 84.9 %, 85.7 %, 96 %의 성공률을 기록했으며, 이는 100개 이하의 시연으로 학습된 VLA 모델 수준에 근접한다. 인간 피드백을 한 번 추가하면 LIBERO에서 88.2 %까지 향상된다. 데모 없이도 고성능 조작이 가능하다는 점에서 로봇 학습 데이터 자동 생성 및 향후 실제 로봇 적용에 큰 잠재력을 보여준다.

상세 분석

FAEA는 기존 로봇 조작 연구에서 흔히 사용되는 Vision‑Language‑Action(VLA) 모델과는 근본적으로 다른 패러다임을 제시한다. VLA는 대량의 시연 데이터를 수집하고, 이를 기반으로 정책을 학습하거나 미세조정하는 방식이다. 반면 FAEA는 사전 학습된 최첨단 LLM(Claude Opus 4.5)을 그대로 활용해, “프롬프트 → 추론 → 도구 호출 → 관찰 → 재추론”의 ReAct 사이클을 반복한다. 핵심 아이디어는 로봇 제어를 저수준 모터 명령이 아닌 고수준 “스크립트” 형태로 추상화하고, 이를 LLM이 프로그램 코드 형태로 생성하도록 하는 것이다.

FAEA의 공식화는 다음과 같다. 주어진 작업 설명 ℓ와 도구 집합 T(관찰, 제어 API) 를 입력으로, 에이전트는 σ₁, σ₂,…,σ_N이라는 일련의 스크립트를 순차적으로 생성한다. 각 스크립트 σ_i는 T의 호출 시퀀스로 구성되며, 실행 결과는 성공 여부 E(s_i)와 관찰 o_i(오류 메시지, 시뮬레이션 피드백) 로 반환된다. 에이전트는 이전 시도들의 컨텍스트 C_i = {σ_j, o_j, E(s_j)}_{j<i} 를 누적해 다음 스크립트를 LLM에 조건부로 생성한다. 이 과정은 gradient‑free이며, 테스트 시점에 시행착오를 통해 정책을 “발견”한다는 점에서 인간이 실제 로봇을 다루는 방식과 유사하다.

실험 설계는 크게 세 단계로 나뉜다. 첫째, LIBERO 120개의 장기 조작 과제를 대상으로 기본 프롬프트와 “코칭” 프롬프트(인간 전문가가 제공한 고수준 힌트)를 비교한다. 둘째, 동일한 프레임워크를 그대로 ManiSkill3(도메인 랜덤화)와 MetaWorld(다른 로봇 팔 및 환경)에 적용해 일반화 능력을 검증한다. 셋째, 성공적인 실행에 대해 자동 트레이스 검증을 수행해 시뮬레이터 내부 상태를 직접 읽어들이는 치팅을 방지한다.

성능 결과는 주목할 만하다. privileged state(정확한 물체 위치와 그리퍼 상태)에 접근할 수 있는 조건에서 FAEA는 LIBERO 84.9 %, ManiSkill3 85.7 %, MetaWorld 96 %의 성공률을 달성했으며, 이는 “≤100 시연”으로 학습된 최신 VLA 모델(예: SmolVLA)의 70‑80 % 수준과 거의 동등하거나 더 좋다. 인간 피드백을 한 번 추가한 “FAEA‑Coaching”은 LIBERO에서 88.2 %까지 끌어올렸다. 또한 평균 2‑26회의 시도(난이도에 따라 차이)로 목표를 달성했으며, 이는 실시간 제어가 아니라 작업‑레벨 계획에 초점을 맞춘 설계 덕분이다.

하지만 몇 가지 한계도 존재한다. 첫째, 실험은 모두 시뮬레이션 환경에서 privileged state를 사용했으며, 실제 로봇에 적용하려면 시각 기반 상태 추정 파이프라인이 필요하다. 둘째, LLM이 생성하는 스크립트는 Python 기반 API 호출에 의존하므로, 로봇 플랫폼마다 동일한 도구 인터페이스를 제공해야 한다. 셋째, 현재는 “수 초” 수준의 의사결정 주기로 제한되며, 고속 피드백이 필요한 동적 작업에는 부적합할 수 있다. 마지막으로, 비용 측면에서 Claude Opus 4.5는 아직 고가 모델이며, 대규모 실시간 배포 시 토큰 비용과 레이턴시가 중요한 변수로 작용한다.

이러한 제한에도 불구하고, FAEA는 로봇 학습 데이터 자동 생성(시뮬레이션 궤적을 VLA 학습에 활용)과 같은 실용적 응용 가능성을 보여준다. LLM 에이전트 인프라가 지속적으로 업데이트되고, 멀티‑모달 모델이 강화되면, 향후 실제 로봇에 대한 데모‑프리 제어가 현실화될 전망이다.