모바일 에이전트 평가를 위한 차세대 벤치마크 모바일벤치V2

초록

Mobile-Bench-v2는 VLM 기반 모바일 에이전트의 실제 사용 환경을 반영하도록 설계된 종합 벤치마크이다. 슬롯 기반 명령 생성(GIAS)으로 다중 경로 오프라인 평가를 지원하고, 광고·팝업이 포함된 노이즈 앱, 그리고 모호한 지시문에 대한 질의·응답 인터랙션을 포함한다. 이를 통해 기존 온라인·오프라인 벤치마크가 놓친 다중 해결책, 노이즈 내성, 능동적 질문 능력을 동시에 측정한다.

상세 분석

본 논문은 VLM(Vision‑Language Model) 기반 모바일 에이전트가 실제 스마트폰 환경에서 직면하는 핵심 문제점을 정확히 짚어낸다. 기존 온라인 벤치마크는 실제 디바이스에서 실행되지만 OS·앱 업데이트, 사용자 설정 변화 등으로 보상 신호가 불안정하고, 오프라인 벤치마크는 단일 경로(Golden Path)만을 제공해 다중 해결책을 평가하지 못한다는 한계를 지적한다. 이러한 한계를 극복하기 위해 저자들은 네 가지 주요 개선점을 제시한다. 첫째, Mobile3M 그래프 코퍼스를 활용해 ‘GIAS(Generating Instructions From Mobile UI Action Sequences)’라는 슬롯 기반 명령 생성 방식을 도입한다. 여기서 슬롯은 키 노드(핵심 UI 요소)와 연관된 변수이며, 동일한 슬롯을 공유하는 여러 경로가 동일한 보상 신호를 갖게 함으로써 다중 경로 평가가 가능해진다. 둘째, 오프라인 다중 경로 평가 프레임워크를 설계해 에이전트가 단일 경로 실행 시 골든 패스와 비교하거나, 그래프 탐색을 통해 여러 가능한 경로를 시도하면서 단계별 보상을 누적하도록 한다. 이는 온라인 평가의 프로세스 기반 보상과 오프라인 평가의 재현성을 동시에 만족한다. 셋째, ‘Mobile‑Bench‑Noisy’ 서브셋을 구축해 광고·팝업이 빈번히 등장하는 서드파티 앱을 수집하고, 기존 AITZ 데이터에 인위적으로 광고를 삽입한 ‘AITZ‑Noise’를 추가함으로써 노이즈 환경에서의 견고성을 측정한다. 넷째, ‘Mobile‑Bench‑Ambiguous’ 서브셋을 통해 명령문을 의도적으로 모호하게 만들고, 사전 정의된 Q&A 쌍을 GUI에 매핑한다. 에이전트는 필요 시 질문을 제기할 수 있으며, 질문에 대한 응답은 슬롯 정보와 연결돼 단계 보상으로 활용된다. 이러한 설계는 기존 벤치마크가 간과한 ‘능동적 인터랙션’ 능력을 정량화한다. 실험에서는 단일 에이전트 프레임워크(AppAgent‑v1), 다중 에이전트 프레임워크(Mobile‑Agent‑v2), UI‑Tars, OS‑Atlas 등 네 가지 모델을 평가했으며, 다중 경로와 노이즈·모호성 평가에서 기존 벤치마크 대비 성능 차이를 명확히 드러냈다. 전체적으로 Mobile‑Bench‑v2는 평가의 현실성, 다양성, 그리고 상호작용성을 모두 포괄하는 종합적인 벤치마크로서, 향후 VLM 기반 모바일 에이전트 연구의 표준 평가 플랫폼으로 자리매김할 가능성이 높다.