적응형 환경 생성으로 임베디드 에이전트 학습 효율 극대화

초록

본 논문은 에이전트의 현재 수행 능력을 실시간으로 반영하여 훈련 환경의 난이도를 조절하는 폐쇄‑루프 환경 생성 프레임워크를 제안한다. 구조화된 장면 그래프와 에이전트 궤적의 세밀한 피드백을 LLM이 분석·변환함으로써, 에이전트가 개선이 필요한 구체적 상황을 목표로 하는 환경을 자동으로 생성한다. 이를 통해 학습 효율과 새로운 환경에 대한 일반화 능력이 크게 향상된다.

상세 분석

이 연구는 기존의 절차적 환경 생성이 ‘무작위 다양성’에만 의존하고, 에이전트의 학습 상태를 고려하지 못한다는 한계를 정확히 짚어낸다. 저자는 세 가지 핵심 모듈을 설계했는데, 첫째는 AI2‑THOR 기반 ProcTHOR의 장면 그래프를 활용한 통제 가능한 환경 표현이다. 객체 집합 O, 속성 A(o), 관계 R(o_i, o_j) 로 구성된 그래프는 객체 위치·회전·스케일·재질 등 세부 파라미터를 명시적으로 다룰 수 있어, 후속 수정 작업이 프로그래밍적으로 간단히 구현된다.

둘째는 미세 피드백 추출기(F) 로, 에이전트가 환경 e_t 에서 수행한 궤적 τ_e_t 를 이미지 혹은 토폴로지 맵 형태로 입력받아, 성공·실패 여부뿐 아니라 “문제 구간”(예: 문턱 근접, 안전 마진 부족)과 “개선 제안”(예: 문 근처에 장애물 추가)이라는 구조화된 삼중 정보를 반환한다. 여기서 저자는 GPT‑5‑mini와 같은 대형 언어 모델을 활용해 시각‑언어 연계 추론을 수행함으로써, 기존 강화학습에서 흔히 놓치는 중간 단계 정보를 효과적으로 포착한다는 점을 강조한다.

셋째는 폐쇄‑루프 적응 생성기(G) 로, F가 제공한 {outcome, concerns, suggestions} 를 입력받아 새로운 환경 e_{t+1}=G(e_t, a_t)를 생성한다. G 역시 LLM 기반으로, “특정 객체를 X 방향으로 이동” 혹은 “새 객체를 Y 위치에 삽입”과 같은 구체적 편집 명령을 자동으로 도출한다. 생성된 환경은 물리적 충돌 검사와 과제 가능성 검증을 거쳐 유효성을 확보한다.

수식적으로는 J(G)=E_t