E VAds 전자상거래 짧은 동영상 이해 벤치마크

초록

본 논문은 전자상거래 플랫폼에서 사용되는 고밀도 멀티모달 짧은 광고 영상을 대상으로, 정보 밀도 평가 프레임워크와 3,961개의 영상·19,785개의 개방형 Q&A 쌍으로 구성된 E‑VAds 벤치마크를 제시한다. 또한 다중 그레인 보상 설계(MG‑GRPO)를 적용한 RL 기반 모델 E‑VAds‑R1을 개발해 상업적 의도 추론에서 109.2%의 성능 향상을 달성하였다.

상세 분석

E‑VAds 논문은 전자상거래 짧은 동영상이라는 특수 도메인을 정량적으로 정의하고, 기존 비디오 QA 벤치마크와의 차별점을 명확히 제시한다. 먼저 저자들은 시각, 음성, 텍스트 3가지 모달리티에 대해 각각 ‘시각 동적 밀도(Vden)’, ‘음성 밀도(Aden)’, ‘텍스트 밀도(Oden)’이라는 정량 지표를 설계하였다. Vden은 DINOv3‑Base 로 추출한 프레임 특징 간 코사인 유사도를 시간적 가중 평균으로 계산하고, 급격한 시각 변화를 높은 값으로 반영한다. Aden과 Oden은 각각 ASR 단어 수와 OCR 단어 수를 영상 길이로 정규화한 값으로, 빠른 음성 전개와 화면 텍스트의 빈도를 측정한다. 이 세 지표를 기존 VideoMME‑short, MVBench, ActivityNetQA 등과 비교했을 때, E‑VAds는 Vden 60.44, Aden 5.08, Oden 18.66 으로 현저히 높은 밀도를 보이며, 특히 텍스트 밀도가 3~4배 수준으로 뛰어나다는 점이 주목할 만하다. 이는 모델이 짧은 시간 안에 시각적 변동, 음성 내용, 온스크린 텍스트를 동시에 파악하고 연관시켜야 함을 의미한다.

데이터 구축 단계에서는 Taobao에서 30,000여 개의 원본 영상을 자동 필터링·동적 샘플링하여 3,961개의 고품질 영상을 선정하였다. 카테고리 불균형을 완화하기 위해 시그모이드 기반 샘플링 함수를 도입, 저빈도 카테고리의 비중을 인위적으로 높였다. 이후 멀티‑에이전트 파이프라인을 활용해 질문·답변을 생성한다. ‘질문 생성 에이전트’, ‘답변 검증 에이전트’, ‘증거 추출 에이전트’ 등 역할을 분리하고, 각 단계에서 LLM 기반 프롬프트와 인간 전문가 검수를 결합해 주관적 오류를 최소화하였다. 최종적으로 ‘인지·지각’과 ‘추론·마케팅 로직’ 두 축으로 5개의 세부 태스크(기본 인지, 교차‑모달 검출, 마케팅 논리, 소비자 인사이트, 규제 준수)를 정의하고, 19,785개의 개방형 QA 쌍을 확보하였다.

모델링 측면에서는 기존의 비디오‑LLM 파이프라인에 RL 기반 추론 레이어를 추가하였다. E‑VAds‑R1은 멀티‑그레인 보상(MG‑GRPO)을 설계해, (1) 초기 탐색 단계에서는 낮은 그레인(예: 정답 일치 여부) 보상으로 부드러운 신호를 제공하고, (2) 고급 단계에서는 정밀도·증거 일관성·멀티‑모달 정합성을 포함한 고그레인 보상으로 비선형적인 인센티브를 부여한다. 이를 통해 제한된 학습 샘플(수백 개)만으로도 상업적 의도 추론 성능을 109.2% 향상시켰으며, 일반 목적 비디오 QA 모델 대비 큰 격차를 보였다. 실험에서는 베이스라인인 Flamingo‑Video, InternVL‑2 등과 비교해 각 태스크별 정확도·BLEU·ROUGE 점수가 평균 12~18% 상승했으며, 특히 ‘마케팅 논리’와 ‘소비자 인사이트’ 영역에서 가장 큰 개선을 기록했다.

전체적으로 이 논문은 (1) 전자상거래 짧은 동영상의 고밀도 멀티모달 특성을 정량화한 평가 프레임워크, (2) 자동·반자동 파이프라인을 통한 대규모 고품질 QA 벤치마크 구축, (3) 멀티‑그레인 보상을 활용한 RL 기반 추론 모델이라는 세 축에서 기존 연구의 한계를 극복하였다. 향후 연구에서는 (가) 실시간 스트리밍 환경에서의 인퍼런스 최적화, (나) 사용자 행동 로그와 결합한 인과 추론, (다) 다국어·다문화 시장을 위한 확장성을 탐색할 여지가 있다.