고품질 비디오 생성 위한 아티팩트 인식 평가 프레임워크

초록

본 논문은 생성 비디오의 품질을 외관·동작·카메라 3축으로 세분화하고, 10가지 대표 아티팩트 카테고리를 정의한다. 80k 규모의 GenVID 데이터셋을 구축해 상세 라벨을 제공하고, 흐름‑크기 기반 동적 프레임 샘플링(FMG‑DFS)과 결합한 DVAR(Dense Video Artifact Recognition) 모델을 제안한다. 실험 결과 DVAR가 기존 멀티모달 대형 언어 모델보다 아티팩트 탐지 정확도가 현저히 높으며, 효율적인 필터링에도 유리함을 입증한다.

상세 분석

이 연구는 현재 비디오 품질 평가(VQA)가 주로 전역적인 점수(예: SSIM, VMAF) 혹은 대형 멀티모달 언어 모델을 이용한 코히런트한 스코어링에 머무는 한계를 정확히 짚고 있다. 인간 시청자는 비디오를 평가할 때 “텍스처 흐림”, “불연속적인 움직임”, “비현실적인 카메라 이동” 등 구체적인 결함을 직관적으로 인식한다는 점에 착안해, 저자는 Appearance, Motion, Camera라는 3개의 인지 축을 중심으로 10개의 아티팩트 카테고리를 설계하였다. 이는 기존의 모호한 점수 체계와 달리, 결함의 존재 여부와 심각도를 직접적으로 측정할 수 있는 구조적 프레임워크를 제공한다.

데이터 측면에서 GenVID는 80,000개의 생성 비디오와 960,000개의 QA 쌍을 포함한다. 다양한 최신 생성 모델(WAN 2.1, CogVideoX, Open‑Sora 등)과 프롬프트를 활용해 콘텐츠 다양성을 확보했으며, 20명의 라이터가 다중 라벨링을 수행해 신뢰성을 높였다. 특히 QA 형식(“Does this video exhibit {artifact}?”)은 멀티모달 LLM의 fine‑tuning에 적합하도록 설계돼, 라벨링 비용을 최소화하면서도 대규모 학습이 가능하도록 만든 점이 주목할 만하다.

기술적 핵심은 FMG‑DFS(FLOW‑Magnitude‑Guided Dynamic Frame Sampling)이다. 기존의 균등 샘플링은 연속적인 프레임 사이에 존재할 수 있는 순간적인 결함을 놓치기 쉽다. 저자는 광학 흐름의 크기를 이용해 움직임이 급격히 변하는 구간을 자동으로 탐지하고, 해당 구간을 중심으로 프레임을 샘플링한다. 알고리즘은 흐름 크기 스무딩 → 피크 검출 → 상위 K 구간 선택 → 균등 프레임 할당 → 중복 제거 및 부족 프레임 보충의 순서로 진행돼, 연산량을 크게 늘리지 않으면서도 결함이 집중될 가능성이 높은 시점을 효과적으로 포착한다.

DVAR는 FMG‑DFS로 선택된 프레임들을 입력으로, 사전 학습된 비전 인코더와 텍스트 인코더를 결합한 멀티모달 LLM(Qwen2.5‑VL)을 미세조정한다. 여기서 중요한 점은 언어 모델의 파라미터는 학습하지만 비전 인코더는 고정한다는 설계다. 이는 비디오의 시각적 특징을 보존하면서, 텍스트 기반 질의(“Does this video exhibit blurred visuals?”)에 대한 정확한 이진 응답을 학습하도록 만든다.

실험 결과는 두 가지 측면에서 설득력을 갖는다. 첫째, 표 1에서 DVAR‑Mean‑7B가 Appearance(0.849), Camera(0.785), Motion(0.767) 모두에서 기존 GPT‑5, GPT‑4o, LLaVA‑NeXT 등 최신 멀티모달 모델을 크게 앞선다. 둘째, 표 2의 Ablation Study는 FMG‑DFS가 Random 혹은 Mean 샘플링에 비해 평균 4~5%p의 정확도 향상을 제공함을 보여준다. 모델 크기(3B vs 7B)의 차이는 상대적으로 미미해, 데이터와 샘플링 전략이 성능에 미치는 영향이 크다는 점을 강조한다.

한계점으로는(1) 흐름 기반 샘플링이 움직임이 적은 정적 장면에서 결함을 놓칠 가능성, (2) 현재는 10개의 사전 정의된 아티팩트에만 초점을 맞추어 새로운 유형의 결함 탐지에 대한 확장성이 제한적이며, (3) 비전 인코더를 고정함으로써 고해상도 세부 결함(예: 미세 텍스처 손상) 학습에 제약이 있을 수 있다. 향후 연구에서는 흐름 외에 색상 변화, 음향 신호 등을 통합한 다중 모달 샘플링, 그리고 라벨링 없는 자기 지도 학습을 통한 아티팩트 카테고리 자동 확장이 기대된다.