앱 에이전트의 모호한 명령 이해를 위한 AmbiBench와 MUSE 평가 프레임워크

초록

AmbiBench는 모바일 GUI 에이전트가 불완전·모호한 사용자 명령을 다루는 능력을 평가하기 위해 네 단계의 명령 명료도(상세·표준·불완전·모호)를 정의하고, 25개 앱·240개 과제로 구성된 데이터셋을 제공한다. MUSE는 MLLM‑as‑judge 구조로 결과 효과, 실행 품질, 상호작용 품질을 자동 측정하며, 인간 평가와 높은 상관성을 보인다. 실험을 통해 비대화형 에이전트는 명확도 낮은 상황에서 성능 급락하지만, 다중 턴 대화가 가능한 에이전트는 의도 정렬을 통해 큰 향상을 얻는다.

상세 분석

본 논문은 모바일 GUI 에이전트 연구에서 가장 간과된 “사용자 의도와 명령의 불일치” 문제를 체계적으로 조명한다. Cognitive Gap 이론을 기반으로 명령 명료도를 Detailed, Standard, Incomplete, Ambiguous 네 단계로 구분하고, 각 단계별로 요구되는 정보량과 불확실성 수준을 정량화한다. 이를 토대로 25개의 실사용 앱(소셜, 쇼핑, 생산성 등)에서 240개의 실제 사용 시나리오를 수집·검증했으며, 모든 태스크는 인간 어노테이터가 직접 수행한 정답 트레이스를 포함한다. 데이터셋 구축 과정에서 ‘Legitimacy Review’와 ‘Effectiveness Assurance’를 적용해 의미 없는 과제나 UI 변동에 의한 잡음을 최소화했다.

에이전트와의 상호작용을 가능하게 하는 핵심 모듈은 LLM 기반 User Simulator이다. 시뮬레이터는 관찰된 명령에서 추출된 요구사항을 보관하고, 에이전트가 추가 질문을 하면 사전 정의된 답변 대신 상황에 맞는 자연어 응답을 생성한다. 이 설계는 기존 벤치마크가 스크립트형 답변에 의존해 확장성이 떨어지는 문제를 해결한다.

평가 프레임워크 MUSE는 ‘MLLM‑as‑judge’ 멀티에이전트 구조를 채택한다. 하나의 평가 에이전트는 Outcome Effectiveness(목표 달성 여부), 또 다른 에이전트는 Execution Quality(액션 정확성·오류 처리), 마지막 에이전트는 Interaction Quality(질문 적절성·정보 획득량·대화 흐름)를 각각 채점한다. 각 차원은 이진·정량·시퀀스 기반 메트릭을 복합적으로 사용해 미세한 성능 차이를 포착한다. 인간 평가와의 Pearson·Spearman 상관계수가 0.89 이상으로, 자동 평가지표가 인간 주관성을 충분히 대체할 수 있음을 입증한다.

실험에서는 GPT‑4o, Claude‑Opus, UI‑TARS, AutoGLM 등 최신 LLM·MLLM 기반 에이전트를 대상으로 명료도별 성능을 측정했다. 결과는 명령이 Detailed 또는 Standard일 때는 85 % 이상의 성공률을 보였지만, Incomplete와 Ambiguous 단계에서는 비대화형 모델이 30 % 이하로 급락한다. 반면, 다중 턴 대화를 허용한 에이전트는 동일 조건에서 평균 22 %p의 성능 회복을 달성했으며, 특히 Interaction Quality 점수가 높은 경우 목표 달성률이 크게 상승한다. 이는 에이전트가 ‘질문‑답변’ 루프를 통해 Cognitive Gap을 효과적으로 메우고 있음을 시사한다.

마지막으로, 기존 모바일 벤치마크와의 비교표를 통해 AmbiBench가 지원하는 메트릭 수(3 차원·다중 세부 지표), 온라인 샌드박스 기반 평가, 그리고 명령 명료도 분류 체계가 현존 벤치마크보다 월등히 풍부함을 강조한다. 다만, 현재는 Android 환경에 국한돼 있으며, iOS·Web UI에 대한 확장은 향후 과제로 남는다.