이커머스 제품 누락 모달리티 자동 보완을 위한 멀티모달 대형 언어 모델 벤치마크

초록

본 논문은 전자상거래 카탈로그에서 이미지나 텍스트가 누락된 제품 정보를 멀티모달 대형 언어 모델(MLLM)로 자동 생성하는 가능성을 평가한다. 이를 위해 이미지‑텍스트 상호 보완 작업을 포함한 MMPCBench라는 두 단계 벤치마크(콘텐츠 품질 평가와 추천 성능 평가)를 제시하고, Qwen2.5‑VL·Gemma‑3 계열의 6개 모델을 9개 카테고리에서 실험한다. 결과는 MLLM이 전반적인 의미는 파악하지만 세부 단어·픽셀 정합성에서는 한계가 있으며, 모델 규모와 성능 사이에 일관된 상관관계가 없음을 보여준다. 또한 그룹 상대 정책 최적화(GRPO)가 이미지‑텍스트 변환 중 텍스트 생성에는 개선을 주지만 이미지 생성에는 효과가 없음을 확인한다.

상세 분석

MMPCBench는 기존의 결측 모달리티 보완 연구와 달리 실제 전자상거래 환경을 그대로 재현한다는 점에서 의의가 크다. 먼저 데이터는 Amazon Review Dataset(2024년 최신 버전)에서 9개의 대표 카테고리를 선정하고, 각 카테고리당 1,000개의 완전한 제품(이미지·텍스트 모두 존재) 샘플을 추출한다. 이렇게 구축된 데이터는 이미지‑텍스트 쌍을 인위적으로 마스킹해 I→T(이미지→텍스트)와 T→I(텍스트→이미지) 두 작업을 동시에 평가한다.

콘텐츠 품질 평가는 텍스트에 대해 TF‑IDF 기반 코사인 유사도, 토큰 오버랩, BERTScore 등 의미·형태적 일치를 측정하고, 이미지에 대해서는 PSNR, SSIM, LPIPS, CLIP 유사도 등 저수준 픽셀 차이와 고수준 의미 정렬을 동시에 고려한다. 특히 CLIP 유사도와 LPIPS를 함께 사용함으로써 인간이 인지하는 시각적 일관성을 보다 정밀하게 평가한다는 점이 돋보인다.

추천 성능 평가는 VBPR, MMGCN, LightGCN‑Multimodal 등 세 가지 멀티모달 추천 모델에 생성된 모달리티를 삽입해 NDCG@k, Recall@k 등을 측정한다. 여기서 핵심은 “생성된 모달리티가 실제 비즈니스 시나리오에서 얼마나 대체 가능한가”를 정량화한다는 점이다.

실험 결과는 흥미로운 패턴을 보인다. Qwen2.5‑VL과 Gemma‑3 모두 대규모 모델(>7B 파라미터)에서 I→T 작업의 텍스트 품질이 소규모 모델에 비해 약간 향상되지만, T→I 작업에서는 오히려 작은 모델이 더 높은 CLIP 유사도를 기록한다. 이는 현재 MLLM이 텍스트 이해·생성에는 규모의 혜택을 받지만, 텍스트를 이미지 프롬프트로 변환하고 이를 디퓨전 모델에 전달하는 파이프라인에서는 프롬프트 설계와 디퓨전 모델 자체의 한계가 크게 작용한다는 것을 시사한다.

또한 GRPO(Group Relative Policy Optimization)를 적용했을 때, I→T 작업에서는 텍스트 유사도 지표가 평균 3~5% 상승했지만, T→I 작업에서는 전혀 개선되지 않았다. 이는 정책 최적화가 텍스트 생성 단계에서는 효과적이지만, 이미지 생성 단계에서는 프롬프트‑디퓨전 간의 비선형 매핑을 충분히 제어하지 못한다는 점을 드러낸다.

카테고리별 분석에서도 차이가 뚜렷하다. ‘Beauty’와 ‘Home & Kitchen’처럼 시각적 디테일이 중요한 카테고리는 이미지 품질 지표가 낮게 나오며, 반대로 ‘Electronics’와 ‘Video Games’처럼 텍스트 설명이 기능·스펙 중심인 카테고리는 텍스트 유사도가 상대적으로 높다. 이는 MLLM이 “시각적 디테일”보다 “개념적 의미”에 더 강점이 있음을 보여준다.

마지막으로 모델 규모와 성능 사이에 일관된 상관관계가 없다는 발견은 기존 대형 언어 모델 연구와 대비된다. 일반적인 언어·비전 벤치마크에서는 파라미터 수가 증가할수록 전반적인 성능이 향상되지만, 실제 비즈니스 데이터(노이즈, 도메인 특수성)에서는 오히려 과적합이나 불필요한 상식적 추론이 방해가 될 수 있음을 암시한다.

요약하면, 현재 MLLM은 고수준 의미 전달에는 충분히 활용 가능하지만, 전자상거래 수준의 세밀한 이미지·텍스트 정합성을 만족시키기 위해서는 프롬프트 설계, 디퓨전 모델 튜닝, 도메인 특화 파인튜닝 등 추가적인 연구가 필요하다.