툴토크 효율적 범용 GUI 에이전트를 위한 툴 토큰화

초록

툴토크는 GUI 에이전트가 좌표 예측 대신 인간의 조작 방식을 모방한 “툴” 토큰 시퀀스로 작업을 수행하도록 설계된 새로운 패러다임이다. 의미적 앵커링과 단계적 커리큘럼 학습을 통해 4B 규모 모델이 1% 이하의 데이터로도 235B 대형 모델에 필적하는 성능을 달성한다.

상세 분석

툴토크는 기존 좌표 기반 시각적 그라운딩이 해상도·종횡비 변화에 취약하다는 문제점을 근본적으로 재구성한다. 먼저 GUI 조작을 연속적인 좌표 회귀가 아니라, “툴”이라 불리는 이산 토큰들의 순차적 선택으로 모델링한다. 툴 토큰은 이동, 내비게이션, 인터랙션, 입력 네 가지 기능군으로 정의되며, 이동 토큰은 방향과 거리(멀리·중간·가까움)로 계층화돼 인간의 커서 제어 방식을 흉내낸다.

핵심 기술은 ‘시멘틱 앵커링’이다. 각 툴 토큰에 대해 의미적으로 연관된 단어 집합 Sᵥ를 사전 정의하고, 사전 학습된 VLM의 임베딩 공간에서 이들 단어 임베딩의 평균을 구한 뒤, 전체 어휘의 평균 노름 R̄에 정규화해 초기 임베딩 e_initᵥ를 만든다. 이는 새로운 토큰이 기존 의미 공간의 “구형” 클러스터에 자연스럽게 위치하도록 하여, 데이터가 극히 제한된 상황에서도 빠른 의미 정렬을 가능하게 한다.

학습 과정은 세 단계 커리큘럼으로 진행된다. ① 토큰 정의 Q&A와 텍스트 기반 툴 선택 과제로 순수 언어 수준에서 툴 의미를 학습하고, ② 합성된 시각적 경로 찾기 과제로 시각-언어 연계를 강화하며, ③ 실제 GUI 데이터에 대해 ‘오라클 트래젝터리’를 생성해 다단계 행동 시퀀스를 제공한다. 오라클 트래젝터리는 시작 커서 위치와 목표 바운딩 박스를 입력으로, 가장 가까운 툴 토큰을 탐욕적으로 선택해 최단 경로를 만든다. 각 단계마다 체인‑오브‑생각(CoT) 프롬프트를 삽입해 모델이 추론 과정을 명시적으로 학습하도록 설계했다.

실험에서는 ScreenSpot, ScreenSpot‑Pro 등 4가지 벤치마크에서 4B 파라미터 모델이 기존 좌표 기반 및 좌표‑프리 모델을 크게 앞섰으며, 235B 규모 모델과도 경쟁 수준을 보였다. 특히 해상도·종횡비 변동 실험에서 툴토크는 성능 저하가 거의 없었고, 전체 학습 데이터는 기존 방법의 1% 미만(≈5k 합성 샘플)으로 충분했다. 이는 의미적 앵커링과 커리큘럼이 데이터 효율성을 크게 향상시켰음을 입증한다.

한계점으로는 툴 토큰 집합이 사전에 정의된 4가지 기능군에 제한돼 복잡한 제스처나 드래그‑앤‑드롭 같은 고차원 인터랙션을 다루기엔 확장성이 필요하다. 또한 오라클 트래젝터리 생성 시 휴리스틱 기반 거리 최소화에 의존하므로, 실제 UI 레이아웃이 비정형적일 경우 최적 경로 탐색이 어려울 수 있다. 향후 연구에서는 툴 토큰의 동적 확장, 멀티‑모달 피드백(예: 오디오·진동) 통합, 그리고 강화학습 기반 트래젝터리 최적화를 통해 이러한 제약을 완화할 여지가 있다.