GUI 생성 모델 평가를 위한 GEBench 벤치마크

초록

GEBench는 GUI 환경에서 이미지 생성 모델의 동적 상호작용과 시간적 일관성을 평가하기 위해 700개의 샘플과 5가지 작업 유형을 제공한다. 새로운 다차원 지표 GE‑Score는 목표 달성, 상호작용 논리, 내용 일관성, UI 타당성, 시각 품질을 측정한다. 실험 결과, 현재 모델은 단일 단계 전환에서는 괜찮지만 다단계 시나리오와 정확한 좌표 기반 변환에서는 크게 부족함을 보였다.

상세 분석

본 논문은 기존 이미지·비디오 생성 벤치마크가 일반 시각 품질에만 초점을 맞추는 한계를 지적하고, GUI와 같이 이산적인 상태 전이가 핵심인 도메인에 특화된 평가 체계를 제안한다. GEBench는 실제 앱, 가상 앱, 장거리 상호작용, 단일 클릭 기반 변환 등 다섯 가지 작업군을 정의하고, 각 작업당 100~200개의 고품질 샘플을 수집하였다. 데이터는 사용자 행동 녹화 → 행동 라벨링 → 품질 검증 과정을 거쳐 구축되었으며, 특히 좌표 기반 ‘grounding’ 작업은 모델이 정확한 픽셀 위치를 인식하고 변화를 반영할 수 있는지를 테스트한다.

평가 지표인 GE‑Score는 다차원 스코어링 방식을 채택한다. GOAL은 사용자의 최종 목표 달성을, LOGIC은 전환이 실제 UI 상호작용 규칙에 부합하는지를, CONS는 변하지 않아야 할 UI 요소가 유지되는지를, UI는 UI 컴포넌트가 현실적인 디자인 규칙을 따르는지를, QUAL는 텍스트 가독성·아이콘 선명도·렌더링 결함 여부를 각각 0‑5 점으로 측정한다. 각 차원의 평균을 전체 점수로 집계함으로써, 단일 시각 품질 지표에 비해 보다 풍부한 해석을 가능하게 한다.

실험에서는 구글 NanoBanana, OpenAI GPT‑image, Seedream 등 최신 상용·오픈소스 모델 12종을 평가하였다. 단일 단계에서는 평균 80점대(0‑100 스케일)로 비교적 높은 성능을 보였지만, 다단계 플래닝과 실제 앱 장거리 시나리오에서는 50점 이하로 급락했다. 특히 아이콘 인식 오류, 한글 텍스트 렌더링 결함, 좌표 오차가 주요 실패 원인으로 지적되었다. 이는 현재 모델이 전역적인 레이아웃 변화를 이해하기보다는 로컬 텍스처·색상 재현에 강점이 있음을 시사한다.

논문은 이러한 한계를 극복하기 위해 (1) 아이콘·텍스트 전용 사전학습, (2) 좌표 기반 조건부 디코딩, (3) 장기 기억을 위한 시퀀스 모델링 강화 등을 향후 연구 방향으로 제시한다. 전체적으로 GEBench는 GUI 생성 모델을 실제 인터랙티브 시스템에 적용하기 위한 필수 검증 도구로서, 평가 기준과 데이터셋을 공개함으로써 연구 커뮤니티가 공통된 목표를 가지고 모델을 개선할 수 있는 기반을 제공한다.