어포던스 그래프 기반 로봇 학습을 위한 자기 진화형 태스크 생성 프레임워크

초록

AGT‑World는 실제 RGB 이미지로부터 물리·시맨틱이 보존된 시뮬레이션 씬을 자동 재구성하고, 작업 공간을 그래프 형태로 형식화한다. LLM·VLM 기반의 자기 진화 메커니즘이 실행 오류를 피드백으로 활용해 정책을 지속적으로 개선함으로써, 장기 복합 작업의 성공률과 일반화 능력을 크게 향상시킨다.

상세 분석

본 논문은 로봇 정책 학습의 두 가지 근본적 한계—실제 환경에서의 비용·안전성 문제와 시뮬레이션 데이터의 물리·논리 일관성 부족—를 동시에 해결하고자 한다. 첫 번째 단계는 단일 RGB 이미지로부터 물리적 상태 S₀를 추정하는 베이지안 재구성 모델(p(S|X₀;ε₀))을 도입해, OmniGibson 기반의 고충실도 물리 엔진 위에 실제 씬과 동일한 어포던스(affordance)와 객체 배치를 복원한다. 이는 기존 NeRF·Gaussian Splatting 방식이 제공하는 정적 시각적 사실성에 물리적 상호작용 가능성을 부여한다는 점에서 의미가 크다.

두 번째 단계에서 저자들은 작업 공간을 O × A × ℕ⁺ 형태의 3‑D 시맨틱‑액션 텐서로 정의하고, 이를 전역 그래프 G = (V,E)로 형식화한다. V는 객체·액션·시간의 조합이며, E는 물리·시맨틱적으로 허용되는 전이이다. 실제 씬 S₀에 대해 서브그래프 G_{S₀}를 샘플링함으로써, 모든 가능한 원자 행동 흐름(π)과 그 사이의 “액션 전이”(eₖ)를 명시적으로 모델링한다. 여기서 π는 LLM이 생성한 확률분포 p_F(π|T;ε₁)에서 샘플링되며, 전이 eₖ는 또 다른 조건부 분포 p_T(eₖ|Tₖ,Tₖ₊₁;ε₂)로 표현된다. 이러한 이중 확률 모델링은(1) 원자 행동의 불확실성, (2) 복합 작업 분해 시 LLM이 야기하는 논리적 오류를 정량화해, 전체 성공 확률을 ∏ₖP(s_goal|s_init,πₖ)·P(S_{k+1}^{init}|S_k^{goal},eₖ) 형태로 명시한다.

핵심 혁신은 “Self‑Evolution” 메커니즘이다. 실행 중 VLM이 생성한 언어 피드백과 기하학적 검증(예: 충돌·접촉 상태) 결과를 결합해, 실패 원인을 ε₁·ε₂ 수준에서 자동 진단한다. 진단된 오류는 LLM 프롬프트를 재구성하거나 파라미터 Δτ, ε 등을 조정하는 형태로 피드백 루프에 투입된다. 이 과정은 완전한 오픈‑루프 RL 탐색이 아니라, closed‑loop 정책 개선을 목표로 하며, 특히 장기 작업에서 초기에 발생한 작은 오차가 누적되는 문제를 효과적으로 억제한다.

실험에서는 102개의 자동 생성 씬·태스크 쌍에 대해 71.6%의 성공률을 달성했으며, 기존 랜덤·디지털 트윈 기반 방법 대비 15~20%p 상승을 기록한다. 특히 “컵을 냉장고에 넣고 닫기”와 같은 4단계 복합 작업에서 자기 진화가 적용된 경우, 성공률이 58%→84%로 크게 개선되었다. 이는 그래프 기반 작업 분해와 VLM‑guided 피드백이 물리·시맨틱 일관성을 유지하면서도 정책을 지속적으로 최적화할 수 있음을 입증한다.

종합하면, AGT‑World는 (1) 실제 관측을 기반으로 한 저비용 디지털 트윈 구축, (2) 작업 공간을 형식화한 그래프 모델링, (3) VLM·LLM 융합 자기 진화 루프라는 세 축을 결합해, 스케일러블 로봇 학습 파이프라인을 제시한다. 향후 VLA 모델과의 하이브리드 계층 구조 통합, 멀티‑에이전트 협업 시나리오 확장 등 연구 여지가 풍부하다.