데스크톱 GUI 에이전트를 위한 브랜치 포인트 기반 데이터 확장 프레임워크

초록

**
Anchor는 소수의 고품질 인간 시연을 출발점으로, UI 상태 변화가 일어나는 ‘브랜치 포인트’를 자동 탐지하고, 해당 시점에서 새로운 작업 변형을 생성한다. 실행 에이전트가 제안된 명령을 수행하고, 상태‑기반 검증기와 단계‑레벨 필터링·디노이징을 통해 고신뢰도 트래젝터리를 확보한다. OSWorld와 WindowsAgentArena에서 확장된 데이터로 파인‑튜닝한 모델은 기존 합성 방법보다 일관된 성능 향상을 보이며, 다양한 애플리케이션과 운영체제에 일반화된다.

**

상세 분석

**
본 논문은 GUI 에이전트 학습에 필요한 대규모 고품질 트래젝터리 확보라는 근본적인 병목을 해결하고자 한다. 핵심 아이디어는 ‘브랜치 포인트’를 중심으로 데이터 다양성을 구조화하는 것이다. 브랜치 포인트는 UI가 새로운 윈도우를 띄우거나 패널이 나타나는 등 의미 있는 상태 전이가 발생하는 시점으로 정의된다. 이러한 시점은 GPT‑5.1을 이용해 자동으로 탐지되며, 각 포인트마다 현재 화면 요약과 UI 스냅샷을 입력으로 새로운 작업 명세를 다수 생성한다.

생성된 작업은 기존 시드 트래젝터리의 프리픽스를 그대로 재사용하고, 이후 단계는 최신 GUI 에이전트(Claude Sonnet 4.5)에게 위임한다. 실행 중 에이전트가 원래 명세와 어긋날 경우, LLM이 실시간으로 작업 설명을 수정해 ‘의도 일관성’을 유지한다. 완료된 트래젝터리는 두 단계의 검증을 거친다. 첫째, 실행 에이전트가 명시적으로 성공 신호를 보냈는지 확인하고, 둘째, 별도 검증 모델이 최종 GUI 상태가 작업 목표를 만족하는지 판단한다.

트래젝터리 수준 검증만으로는 남아 있는 미세한 노이즈를 제거하기 어렵다. 이를 보완하기 위해 논문은 두 가지 단계‑레벨 필터링을 제안한다. (1) 작업‑조건부 추론 필터링은 공유 프리픽스 단계마다 각 하위 작업에 대해 LLM이 10개의 행동‑이유 후보를 생성하고, 실제 화면 변화를 기반으로 일치하는 후보를 선택한다. 일치하지 않을 경우 해당 단계는 해당 작업에 대해 제외된다. (2) 의도‑일관성 디노이징은 브랜치 이후 단계에서 행동이 현재 컨텍스트와 시각적 변화를 일관성 있게 설명하는지를 검사한다. 불일치 시 해당 단계는 학습 데이터에서 삭제한다.

데이터 규모는 Ubuntu 1,174개, Windows 603개, 평균 17.24 스텝으로 기존 합성 파이프라인보다 길고 복잡한 워크플로우를 포함한다. 비용은 성공적인 트래젝터리당 $0.47로, 인간 시연 대비 비용 효율성을 크게 개선한다. 실험 결과, Anchor‑확장 데이터로 파인‑튜닝한 모델은 zero‑shot 및 기존 합성 베이스라인 대비 전반적인 성공률, 작업 완성도, 일반화 능력에서 일관된 상승을 보였다. 특히, 다양한 애플리케이션(파일 매니저, 텍스트 에디터, 설정 메뉴 등)과 두 운영체제 간 전이 성능이 크게 향상되었다는 점이 주목할 만하다.

이 접근법의 장점은 (1) 시드 의존성 최소화 – 소수의 검증된 시연만 있으면 풍부한 파생 데이터를 자동 생성할 수 있다. (2) 목표‑지향적 탐색 – 자유 탐색에 비해 불필요한 저신호 행동을 억제하고, UI가 제공하는 새로운 어포던스를 활용한다. (3) 다중 검증 체계 – 트래젝터리‑레벨과 단계‑레벨 검증을 결합해 노이즈를 체계적으로 제거한다.

한계점으로는 (a) 브랜치 포인트 탐지는 현재 GPT‑5.1에 의존하므로 모델 편향에 따라 중요한 전이를 놓칠 가능성이 있다. (b) 작업 제안 단계에서 생성되는 명세가 UI에 과도하게 구체적이면 확장성이 떨어질 수 있다. (c) 현재 파이프라인은 주로 데스크톱 OS에 초점을 맞추며, 모바일 UI나 웹 UI와 같은 다른 도메인에 적용하려면 UI 변화 감지와 검증 로직을 재조정해야 한다.

전반적으로 Anchor는 고품질 GUI 트래젝터리 자동 생성에 새로운 패러다임을 제시하며, 향후 멀티‑모달 에이전트의 실용화에 필수적인 데이터 인프라 구축에 크게 기여할 것으로 기대된다.

**