이커머스 이미지 번역 품질을 위한 Vectra 새로운 지표 데이터 모델

초록

Vectra는 이커머스 인-이미지 기계번역(IIMT)에서 시각적 품질을 평가하기 위한 최초의 레퍼런스‑프리 프레임워크이다. 14개의 해석 가능한 차원으로 품질을 세분화하고, 결함 영역 비율(DAR)이라는 공간적 지표를 도입해 주관적 편차를 감소시킨다. 1.1 M 장의 실제 제품 이미지에서 다양성‑인식 샘플링으로 구축한 2 K 벤치마크와 33 K 라벨링 데이터를 제공하며, 4 B 파라미터 MLLM 기반 Vectra Model은 정량 점수와 진단 이유를 동시에 생성한다. 실험 결과 인간 순위와의 상관관계에서 최첨단을 달성하고, GPT‑5·Gemini‑3 등 기존 대형 모델을 능가한다.

상세 분석

본 논문은 기존 IIMT 평가가 텍스트 번역 정확도와 이미지 전반적 유사도(SSIM, FID)만을 고려해 시각적 결함을 정밀히 파악하지 못한다는 문제점을 지적한다. Vectra는 이를 해결하기 위해 세 가지 핵심 요소를 설계한다. 첫째, Vectra Score는 시각적 품질을 ‘정확성(Accuracy)’과 ‘스타일(Style)’ 두 축으로 나누고, 각각 8·6개의 세부 차원(텍스트 크기, 레이아웃, 폰트 스타일, 색상, 위치, 픽셀 선명도, 허위·누락 등)으로 구분한다. 각 차원은 1~3점의 서열형 점수를 부여하고, 결함 영역 비율(DAR)을 통해 공간적 심각도를 정량화한다. DAR은 텍스트와 비텍스트 영역을 별도로 마스크하고, 결함 영역을 전체 목표 영역에 대한 비율로 계산한다. 실험적으로 0.3을 임계값으로 설정해 ‘우수(3)’, ‘보통(2)’, ‘불량(1)’을 구분했으며, 이 값은 전문가 거부율이 급격히 상승하는 지점을 기반으로 한다. 둘째, 데이터 구축 단계에서는 SAM+ViT‑H 기반 특징 추출기로 1.1 M 장 이미지에 k‑means 클러스터링을 수행해 클러스터 중심을 샘플링, 결과적으로 다양성을 극대화한 2 K 벤치마크와 33.5 K 라벨링 데이터를 확보했다. 라벨링은 5개 언어쌍(zh→en, es, fr, pt, ja)과 3가지 번역 엔진(AIDC Pro/Standard, Nano Banana, GPT‑Image‑1)을 활용해 결함 유형을 고르게 분포시키고, 부족한 차원‑점수 조합은 Nano Banana 기반 합성으로 보강하였다. 셋째, Vectra Model은 Qwen3‑VL‑4B‑Instruct를 기반으로 Gemini‑2.5‑Pro에서 추출한 지시 데이터와 전문가 선호 데이터를 혼합해 SFT와 RL 단계로 미세조정했다. 모델은 입력 이미지 쌍에 대해 14차원 점수와 함께 “텍스트가 작아 가독성이 떨어진다”와 같은 인간 친화적 이유를 출력한다. 평가에서는 Pearson r = 0.895, Kendall τ = 0.724를 기록해 인간 순위와 높은 일치를 보였으며, GPT‑5( r ≈ 0.862)와 Gemini‑3( r ≈ 0.847)를 능가했다. 또한, 다중 결함이 동시에 발생한 복합 시나리오에서도 정확성 차원이 1점이면 전체 점수가 급격히 낮아지는 곱셈형 집계 방식을 통해 비즈니스 규제 요구를 충족한다. 전체적으로 Vectra는 시각적 품질을 정량·정성적으로 동시에 다루는 최초의 프레임워크이며, 레퍼런스‑프리 환경에서도 신뢰성 있는 보상 신호를 제공한다는 점에서 이커머스 AI 번역 파이프라인의 평가·학습 루프를 크게 개선한다.