도전으로 배우는 모바일 GUI 에이전트 학습 적응형 난이도 인식 데이터 생성

초록

MobileGen은 GUI 에이전트의 현재 능력에 맞춰 구조적·의미적 난이도를 조절하는 데이터 생성 프레임워크이다. 에이전트를 사전 데이터셋으로 프로파일링하고, 난이도 분포를 동적으로 계산해 목표 난이도를 샘플링한 뒤, 다중 에이전트 컨트롤러가 해당 난이도에 부합하는 고품질 트래젝터리를 자동으로 생성한다. 실험 결과, 기존 방법 대비 평균 1.57배 향상된 성능을 달성한다.

상세 분석

본 논문은 모바일 GUI 에이전트 학습에 있어 “난이도와 능력의 매칭”이라는 핵심 문제를 체계적으로 해결한다. 먼저 저자들은 트래젝터리 난이도를 구조적 난이도(Depth of Trajectory, Breadth of Trajectory)와 의미적 난이도(Interaction Control Difficulty, Instruction Understanding Difficulty) 두 축으로 명확히 정의한다. 구조적 난이도는 단계 수와 애플리케이션 전환 수라는 정량적 지표로 측정되며, 의미적 난이도는 목표 명령의 복잡성과 자연어 이해 난이도를 ‘easy/medium/hard’로 이산화한다. 이러한 이중 차원은 기존 데이터 생성 방식이 제공하지 못했던 미세 조정 가능성을 제공한다.

에이전트 능력 프로파일링 단계에서는 사전 구축된 다양성 높은 데이터셋 Tp 에 대해 이중 레벨 평가를 수행한다. 구조적 측면에서는 실행 성공률을 기반으로 C_d(길이 한계)와 C_b(앱 전환 한계)를 산출하고, 각 앱별 취약도 V_i를 계산해 약점 보강에 활용한다. 의미적 측면에서는 실제 행동 성공률에 의미 난이도 가중치 m_int, m_ins을 곱해 C_int와 C_ins를 도출한다. 이때 Pass@K와 SoM‑annotated 스크린샷을 이용해 정확한 행동 매칭을 검증한다.

프로파일링 결과를 바탕으로 α‑guided challenge point를 도입한다. α는 전체 학습 난이도 상승 강도를 조절하는 하이퍼파라미터이며, 각 능력 지표 C에 대해 목표값 C* = C / (1 + α·η) 로 정의한다. η는 차원별 진화 속도를 반영하는 상수이다. 이렇게 얻은 C*를 중심으로 구조적·의미적 난이도 각각에 대해 이산 확률 분포를 구성하고, 샘플링된 난이도 파라미터를 Multi‑agent Controllable Generator(MCG)에 전달한다. MCG는 ‘Explorer’와 ‘Supervisor’ 두 에이전트가 협업해 지정된 DoT, BoT, ICD, IUD 조건을 만족하는 트래젝터리를 병렬 생성하고, 역합성(inverse synthesis) 과정을 통해 자연어 명령과 행동 시퀀스를 일치시킨다.

실험에서는 여러 공개 모바일 GUI 벤치마크(예: Android‑Suite, Kuaishou‑Tasks 등)와 자체 구축된 어려운 시나리오에 대해 MobileGen‑생성 데이터와 기존 인간 시연·모델 탐색 데이터의 학습 효과를 비교한다. 결과는 평균 1.57배 성능 향상, 특히 장기 의존성이 큰 작업에서 2배 이상 정확도 상승을 보이며, 난이도‑능력 매칭이 학습 효율을 크게 높임을 입증한다. 또한 난이도 분포 제어가 데이터 다양성과 품질을 동시에 유지함을 보여, 비용 효율적인 대규모 데이터 생성에 실용적이다.

본 연구는 GUI 에이전트 학습에 “커리큘럼 학습” 개념을 도입한 최초 사례라 할 수 있다. 난이도‑능력 프로파일링, 동적 난이도 분포 설계, 다중 에이전트 제어라는 세 축을 통합함으로써, 기존의 무작위 혹은 고정 난이도 데이터 생성 방식이 갖는 학습 효율 저하 문제를 근본적으로 해결한다. 향후 연구에서는 난이도 메트릭을 더 세분화하고, 사용자 맞춤형 커리큘럼을 설계하거나, 다른 도메인(예: 웹 자동화, 로봇 조작)에도 확장하는 가능성을 제시한다.