GUI 그라운딩 혁신: POINTS‑GUI‑G가 이끄는 완전 스택 자동화

초록

POINTS‑GUI‑G‑8B는 최소한의 사전 지식만을 가진 베이스 모델(POINTS‑1.5)에서 시작해, 데이터 표준화·고품질 필터링·난이도 조절을 통한 데이터 엔지니어링, 비전 인코더 전면 파인튜닝 및 고해상도 일관성 유지, 그리고 검증 가능한 보상을 활용한 강화학습(RL‑VR) 세 가지 핵심 전략을 결합해 GUI 그라운딩 성능을 크게 끌어올렸다. 주요 벤치마크(ScreenSpot‑Pro, OSWorld‑G, ScreenSpot‑v2, UI‑Vision)에서 모두 최고 수준의 점수를 기록했으며, 특히 고해상도 화면에서의 일반화 능력이 크게 향상되었다.

상세 분석

본 논문은 GUI 에이전트가 실제 업무 흐름을 자동화하기 위해 필수적인 “GUI 그라운딩” 능력을, 기존에 강력한 공간 인식을 이미 갖춘 모델을 미세조정하는 전통적 접근법을 탈피해, 기초 단계부터 자체적으로 구축하는 ‘풀스택’ 방법론으로 제시한다. 첫 번째 축인 정교한 데이터 엔지니어링은 이질적인 공개 데이터셋을 좌표 정규화(