IMTBench 다중 시나리오 교차 모달 협업 평가 벤치마크

초록

IMTBench는 실제 문서, 웹페이지, 자연 장면, 프레젠테이션 슬라이드 등 4가지 실사용 시나리오와 9개 언어를 포괄하는 2,500개의 이미지 번역 샘플을 제공한다. 번역 정확도, 배경 보존, 전체 이미지 품질, 텍스트‑이미지 정합성을 동시에 측정하는 다중 평가 지표를 도입해 기존의 합성·단일 지표 기반 벤치마크의 한계를 극복한다. 상용 캐스케이드 시스템과 최신 통합 멀티모달 모델을 평가한 결과, 복잡 레이아웃·저자원 언어에서 큰 성능 격차가 드러나며, 향후 연구 과제로 다국어 번역 능력과 타이포그래피 보존 기술이 제시된다.

상세 분석

본 논문은 이미지 내 텍스트를 직접 번역하고 시각적 레이아웃을 유지하는 End‑to‑End In‑Image Machine Translation(IIMT) 분야의 평가 인프라가 부족함을 지적한다. 기존 데이터셋은 주로 합성 이미지에 의존하거나 단일 라인·수평·단색 텍스트 등 제한된 레이아웃만을 제공해 실제 서비스 환경을 반영하지 못한다. 또한 BLEU·COMET 같은 텍스트 번역 점수와 FID·SSIM 같은 이미지 생성 점수만을 결합한 단일 모달 평가 방식은 ‘교차 모달 일관성’—즉 모델이 생성한 번역 텍스트와 이미지에 실제 렌더링된 텍스트가 의미적으로 일치하는지를 측정하지 못한다.

IMTBench는 이러한 문제점을 4가지 축으로 해결한다. 첫째, 데이터 현실성 확보를 위해 문서·웹, 자연 장면, 프레젠테이션 슬라이드 네 가지 도메인에서 실제 사진·스크린샷을 수집하고, OCR·다중 언어 번역·고급 이미지 편집(GPT‑Image, SeedEdit) 파이프라인을 통해 자연스러운 텍스트 교체 이미지를 생성한다. 인간 검증을 거쳐 레이아웃 왜곡, 폰트·색상·각도 변형 등 복잡성을 보존한다. 둘째, 9개 언어(영·독·프·스페인·중·일·한·아랍·러시아)를 포함해 다국어 일반화 능력을 평가한다. 셋째, 평가 프로토콜을 ‘번역 품질(COMET)’, ‘배경 보존(Mask‑LPIPS)’, ‘전체 이미지 품질(PQ)’, ‘교차 모달 정합성(Alignment Score)’ 네 가지 지표로 확장한다. 특히 Alignment Score는 OCR 기반 텍스트 추출과 모델 출력 텍스트 간 의미 유사도를 측정해, 텍스트‑이미지 간 일관성을 정량화한다. 넷째, 상용 캐스케이드 파이프라인( OCR → MT → 렌더링)과 최신 통합 멀티모달 모델(디퓨전, 오토리그레시브, 하이브리드) 모두를 동일 조건에서 벤치마크함으로써 현재 기술 수준과 한계를 명확히 제시한다.

실험 결과, 통합 멀티모달 모델이 캐스케이드 방식보다 레이아웃 보존과 이미지 품질에서 우수하지만, 복잡한 자연 장면이나 저자원 언어(아랍·러시아)에서는 여전히 번역 누락·오류·글리프 손상이 빈번히 발생한다. 특히 Alignment Score가 낮은 경우는 텍스트가 의미적으로는 번역됐지만 이미지에 잘못 렌더링된 사례가 많으며, 이는 모델이 텍스트 스타일·색상·투시 변형을 정확히 재현하지 못함을 의미한다. 이러한 분석을 통해 향후 연구는 (1) 다국어 텍스트‑이미지 정합 학습, (2) 레이아웃‑조건부 텍스트 스타일 제어, (3) 저자원 언어에 대한 번역·렌더링 파이프라인 강화가 필요함을 강조한다.