컴퓨터 사용을 위한 UI 세계 모델: CUWM의 설계와 평가

초록

CUWM은 데스크톱 소프트웨어의 UI 변화를 텍스트와 이미지 두 단계로 예측하는 세계 모델이다. 오프라인 UI 전이 데이터를 통해 사전 학습하고, 구조적 일관성을 강화하는 경량 강화학습으로 정제한다. 테스트 시 에이전트가 후보 행동을 시뮬레이션해 선택함으로써 작업 정확도와 안정성을 크게 향상시킨다.

상세 분석

본 논문은 디지털 환경이면서도 실행 비용이 높은 데스크톱 애플리케이션을 대상으로, 실제 실행 없이 행동의 결과를 예측할 수 있는 세계 모델을 최초로 제안한다. CUWM은 UI 동역학을 “무엇이 변하는가”와 “그 변화가 어떻게 보이는가”라는 두 단계로 분리한다. 첫 단계에서는 현재 스크린샷과 자연어 형태의 행동을 입력으로 받아, 변화된 UI 요소와 그 속성을 서술하는 텍스트 전이(Δt)를 생성한다. 여기에는 선택 영역 변경, 대화 상자 등장, 리본 메뉴 상태 변환 등 작업에 핵심적인 정보를 압축한다. 두 번째 단계는 Qwen‑Image‑Edit 기반의 조건부 이미지 편집 모델을 이용해, 현재 스크린샷과 Δt를 결합해 다음 화면을 합성한다. 이 구조는 고해상도 UI 전체를 픽셀 수준에서 직접 예측하는 비용을 크게 절감하면서도, 중요한 UI 변화를 정확히 재현한다는 장점을 가진다.

학습 과정은 크게 두 부분으로 나뉜다. 첫째, GUI‑360 데이터셋에서 수집한 (s_t, a_t, s_{t+1}) 트리플을 이용해 GPT‑5가 자동으로 생성한 정답 전이 텍스트(ΔGT_t)를 레이블로 삼아, 텍스트 전이 모델과 이미지 편집 모델을 각각 지도학습한다. 둘째, 텍스트 전이 모델에 구조적 정합성을 부여하기 위해 경량 강화학습을 적용한다. 여기서는 LLM‑as‑Judge가 UI 구조(리본, 편집 영역, 사이드 패널 등)와 일치 여부를 점수화하고, 길이 패널티와 결합한 보상을 사용해 GRPO 방식으로 정책을 미세조정한다. 결과적으로 모델은 짧고 핵심적인 전이 설명을 생성하면서도, 실제 UI 구조와 높은 일관성을 유지한다.

평가에서는 고정된 LLM 에이전트가 후보 행동을 제시하면, CUWM이 각 후보에 대해 시뮬레이션된 다음 화면을 제공하고, 에이전트는 이를 기반으로 최종 행동을 선택한다. 이 “생각하고 행동하기” 방식은 테스트 시 추가 연산을 허용하면서도 실제 실행을 최소화한다. 실험 결과, Word, Excel, PowerPoint 등 다양한 Office 작업에서 모델 기반 시뮬레이션을 활용한 경우, 오류 발생률이 크게 감소하고 작업 성공률이 향상되었다. 특히, UI가 복잡하고 긴 작업 흐름을 요구하는 시나리오에서, 작은 UI 변화가 전체 작업 결과에 미치는 영향을 사전에 탐색함으로써, 복구 불가능한 실수를 방지하는 효과가 두드러졌다.

CUWM의 주요 기여는 (1) 데스크톱 GUI에 특화된 두 단계 세계 모델 설계, (2) 자동화된 텍스트 전이 라벨링과 구조 인식 강화학습을 결합한 학습 파이프라인, (3) 테스트 시 시뮬레이션 기반 행동 선택을 통해 에이전트의 의사결정 품질을 향상시킨 점이다. 한계점으로는 현재 모델이 복잡한 멀티‑윈도우 상호작용이나 비정형 그래픽 요소(예: 차트 드래그)에는 아직 충분히 일반화되지 못한다는 점이며, 향후 연구에서는 멀티모달 어텐션과 더 정교한 UI 요소 파싱을 도입해 확장성을 높일 필요가 있다.