AI 생성 비디오 평가의 현재와 미래

초록

본 논문은 AI가 생성한 동영상의 품질과 의미 일치를 체계적으로 측정하기 위한 새로운 연구 분야인 AI‑Generated Video Evaluation(AIGVE)를 정의하고, 기존 영상 품질 평가, 멀티모달 정렬, 대형 언어·비전 모델 기반 평가 등을 종합적으로 정리한다. 영상의 기술·동적·물리·일관성·품질·정렬 오류 6가지 유형을 제시하고, 인간 인지와 명령 정렬 두 축으로 평가 방법을 구분한다. 벤치마크 데이터셋 구축 절차와 현재 사용되는 메트릭·모델 기반 접근을 분석하며, 향후 통합 프레임워크, 해석 가능성, 윤리·안전 고려사항 등을 연구 과제로 제시한다.

상세 분석

이 논문은 AI‑Generated Video Evaluation(AIGVE)이라는 신흥 분야를 명확히 정의하고, 기존 영상 품질 평가(VQA)와는 차별되는 두 가지 핵심 축을 제시한다. 첫 번째 축인 ‘인간 인지와의 정렬’은 전통적인 PSNR, VMAF 등 저수준 신호 기반 메트릭을 넘어, 동적 일관성, 물리적 현실성, 객체·장면 일관성 등을 포괄한다. 이를 위해 저자들은 기술 오류, 동적 오류, 물리 오류, 일관성 오류, 품질 오류, 정렬 오류라는 6가지 오류 유형을 체계화하고, 각각이 평가 메트릭 설계에 어떤 영향을 미치는지 상세히 논의한다. 두 번째 축인 ‘인간 명령과의 정렬’은 텍스트‑비디오 정렬을 평가하는데 초점을 맞춘다. 여기서는 CLIPScore, GPT‑4V 등 멀티모달 언어‑비전 모델을 활용한 정량적 점수와, 인간 평가자를 통한 정성적 검증을 결합한다. 논문은 현재 존재하는 벤치마크 데이터셋을 ‘비디오‑명령‑평가점’ 삼중항 형태로 재구성하고, 데이터 수집 파이프라인(명령 수집 → 모델 생성 → 인간 평가)과 각 데이터셋의 규모·주석 품질을 비교한다. 또한 메트릭 기반 평가와 모델 기반 평가를 구분하여, 전자는 기존 VQA 메트릭을 재활용하거나 새로운 지표를 설계하는 방식이며, 후자는 대규모 인간 평점 데이터를 이용해 인간 판단을 모방하는 학습 기반 평가 모델을 개발하는 접근이다. 중요한 통찰은 현재 메트릭들은 대부분 시각적 품질에 국한돼 있어, 명령 정렬을 정확히 측정하지 못한다는 점이다. 따라서 향후 연구는 시각·언어·시간적 정보를 동시에 고려하는 통합 프레임워크가 필요하다고 주장한다. 마지막으로 윤리·안전 측면에서, 생성 영상의 허위 정보 전파 위험과 평가 모델의 편향 문제를 언급하며, 투명한 평가 프로토콜과 공정성 검증이 필수임을 강조한다.