적응형 마일스톤 보상으로 GUI 에이전트 학습 혁신

초록

ADMIRE는 성공적인 탐색에서 동적으로 추출한 마일스톤을 이용해 단계별 보상을 제공하고, 성공·실패 궤적에 따라 비대칭적으로 보상을 할당한다. 이를 통해 긴 시간 지연 보상 문제를 완화하고, AndroidWorld 등에서 기존 보상 방식 대비 10% 이상 성공률을 향상시킨다.

상세 분석

이 논문은 모바일 GUI 자동화에서 가장 큰 난제 중 하나인 ‘시간적 신용 할당 문제’를 해결하기 위해 새로운 보상 메커니즘인 ADMIRE를 제안한다. 핵심 아이디어는 성공적인 에피소드에서 핵심 상태 전이(마일스톤)를 자동으로 추출하고, 이를 검증 가능한 규칙 기반 매칭으로 보상에 연결하는 것이다. 마일스톤은 대형 언어 모델(LLM)을 활용한 추상화 함수 Φ에 의해 초기화되고, 이후 더 효율적인 경로가 발견될 때마다 업데이트된다. 이는 정적 서브골보다 유연하게 정책 변화에 적응하도록 설계된 점이 큰 장점이다.

보상 할당 단계에서는 두 가지 비대칭 전략을 적용한다. 성공 에피소드에서는 마일스톤에 도달한 순간에만 보상을 주어 불필요한 행동을 억제하고, 중요한 의사결정만을 강화한다. 반면 실패 에피소드에서는 전체 진행도에 비례하는 기본 보상(k/K)과 마일스톤 도달 보너스를 동시에 제공해 ‘전부 혹은 전무’ 형태의 신호를 완화한다. 이러한 설계는 탐색 초기 단계에서의 신호 희소성을 보완하고, 실패 경험도 학습에 활용하도록 만든다.

기술적 구현 측면에서, 논문은 Sentence‑BERT를 이용해 행동 설명과 마일스톤 텍스트를 임베딩하고 코사인 유사도로 매칭한다. 임계값 δ를 초과하면 현재 마일스톤 포인터를 전진시키는 순차적 제약을 두어 순서 위반을 방지한다. 보상은 GRPO(그룹 상대 정책 최적화)와 결합되어 정책 업데이트에 직접 반영되며, 학습 진행에 따라 밀도 높은 마일스톤 보상의 비중을 점진적으로 감소시켜 최종적으로는 결과 보상에 집중하도록 설계되었다.

실험에서는 AndroidWorld와 MobileMiniWob++ 두 벤치마크에서 Qwen2.5‑VL 3B/7B 모델에 ADMIRE를 적용했을 때, 기존 결과 보상 및 프로세스 보상 대비 평균 9~10%p 이상의 성공률 상승을 기록했다. 특히 7B 모델이 52.6%의 최고 성공률을 달성했으며, 이는 더 큰 72B 모델이나 GPT‑4o와도 경쟁할 만한 수준이다. 또한 다양한 RL 알고리즘(GRPO, RLOO, DAPO)과 웹·임베디드 환경에서도 일관된 성능 향상을 보이며, 마일스톤 기반 보상이 도메인 전이에도 강인함을 입증한다.

비판적으로 보면, 마일스톤 추출에 LLM을 사용함으로써 추가 연산 비용과 프롬프트 설계 의존도가 높아진다. 또한 마일스톤 매칭에 텍스트 임베딩을 활용하는데, UI 요소가 시각적·그래픽적으로 복잡한 경우 텍스트 설명만으로는 충분히 구분되지 않을 가능성이 있다. 마지막으로, 비대칭 보상 설계가 특정 작업에 과도하게 편향될 위험이 존재하므로, 하이퍼파라미터(δ, ζ, λ 등)의 민감도 분석이 추가로 필요하다.

전반적으로 ADMIRE는 “밀도 높은 보상 + 높은 신뢰성”이라는 두 마리 토끼를 잡기 위한 실용적인 접근법을 제시하며, GUI 자동화뿐 아니라 장기 의사결정이 요구되는 다른 도메인에도 적용 가능성을 보여준다.