자동 게임 UI 구축을 위한 멀티모달 매칭 시스템

초록

**
AutoGameUI는 UI 디자인과 UX 설계 사이의 최적 대응 관계를 멀티모달 학습으로 자동 추출해, 게임 UI를 고품질로 신속하게 생성하는 시스템이다. 두 단계의 파이프라인(멀티모달 표현 학습 → 계층적 매칭)과 그룹드 크로스‑어텐션·정수계획 최적화를 결합해 기존 수작업 대비 3배 빠른 효율을 달성한다.

**

상세 분석

**
본 논문은 게임 UI 개발 현장에서 UI 디자이너와 UX 디자이너가 별도로 작업하면서 발생하는 레이아웃·시멘틱·텍스트·계층 구조의 불일치를 자동으로 해소하고자 한다. 이를 위해 제안된 AutoGameUI는 크게 두 단계로 구성된다. 첫 번째 단계에서는 UI와 UX 각각을 트리 구조로 모델링하고, 노드의 2D 기하정보, 시멘틱 라벨, 텍스트 내용을 그래프 신경망(Φ_g)과 사전학습 언어 모델(Φ_t)로 인코딩한다. 이후 트랜스포머 인코더(Φ_e)를 통해 512차원의 통합 멀티모달 표현 f_k를 얻으며, 이 과정은 의미 분류, 바운딩 박스 회귀, 텍스트 유사도 세 가지 자기지도 손실을 동시에 최적화한다.

두 번째 단계에서는 얻어진 표현을 기반으로 최적 매칭을 찾는다. 기존 연구가 전체 노드 간 유사도 행렬을 직접 계산해 O(m·n) 복잡도를 갖는 반면, 저자는 그룹드 크로스‑어텐션(GCA) 모듈을 도입해 “노드‑그룹” 매칭을 수행한다. UX 트리의 하위 레벨 노드들을 그룹화하고, 각 그룹과 전체 UI 표현 사이에 크로스‑어텐션을 적용해 그룹별 매칭 확률 M을 추정한다. 이 확률 행렬을 이용해 비용 행렬 C=1−Mᵀ를 구성하고, 계층·렌더링 제약을 포함한 정수계획식(Ω)과 함께 최적화한다. 정수계획 솔버는 P·1_n=r, Pᵀ·1_m=c 라는 이중 행/열 제약을 만족시키면서, 서브옵티멀 매칭에 대한 패널티 τ·(C_ii′+C_jj′)를 최소화한다.

핵심 기술적 기여는 다음과 같다. (1) UI/UX 트리를 통합 데이터 프로토콜로 표준화해 다양한 게임 엔진과의 호환성을 확보하였다. (2) 멀티모달 표현 학습 단계에서 그래프 구조와 텍스트 정보를 동시에 활용해 기존 레이아웃‑중심 방법보다 풍부한 의미 정보를 포착한다. (3) 그룹드 크로스‑어텐션을 통해 매칭 복잡도를 O(L·m) 수준으로 낮추고, 계층적 매칭을 단계별로 수행해 전역 최적성을 유지한다. (4) 정수계획 기반 제약 처리로 계층 일관성·렌더링 순서 보존을 보장한다. (5) 인간‑인‑루프 인터페이스를 제공해 매칭 확률을 시각화하고, 오류가 발생한 경우 사용자가 직접 수정할 수 있게 함으로써 자동화와 수동 조정의 균형을 맞춘다.

실험에서는 자체 구축한 GAMEUI 데이터셋(실제 모바일 게임 UI/UX 쌍)과 공개 RICO 데이터셋을 사용해 정량·정성 평가를 수행했다. 매칭 정확도, 레이아웃 일관성, 텍스트 일치도 등에서 기존 LayoutGMN, LayoutBlend 등과 비교해 평균 12%~18% 향상을 보였으며, 특히 대규모 UI(노드 수 >200)에서도 GCA 기반 매칭이 3배 이상 빠르게 수렴했다. 실제 모바일 게임 프로젝트에 적용했을 때 UI 제작 시간은 평균 3배 단축됐으며, 품질 평가에서도 디자이너 만족도가 4.6/5점에 달했다.

전반적으로 AutoGameUI는 멀티모달 표현, 계층적 매칭, 정수계획 최적화를 유기적으로 결합해 게임 UI 자동화라는 실무 문제를 효과적으로 해결한다는 점에서 학술적·산업적 의의가 크다.

**