VQAThinker: 강화학습으로 일반화와 설명성을 동시에 갖춘 비디오 품질 평가

초록

VQAThinker는 대규모 멀티모달 모델(LMM)을 강화학습(GRPO)과 결합해 점수 수준의 MOS 감독만으로 비디오 품질을 추론·점수화한다. 베벨형 회귀 보상, 쌍대 순위 보상, 시간 일관성 보상이라는 세 가지 VQA 전용 보상을 설계해 정밀한 회귀와 상대 순위 유지, 시간 왜곡 억제를 동시에 달성한다. 실험 결과, 기존 NR‑VQA 모델과 최신 설명 가능한 모델을 능가하며, OOD 비디오에서도 강인한 일반화와 왜곡 설명 능력을 보여준다.

상세 분석

본 논문은 비디오 품질 평가(VQA)의 두 가지 핵심 한계—OOD 일반화 부족과 설명 가능성 결여—를 동시에 해결하고자 한다. 이를 위해 저자들은 대규모 멀티모달 모델(LMM)을 기반으로 하면서, 정책 기반 강화학습인 Group Relative Policy Optimization(GRPO)을 적용한다. GRPO는 전통적인 가치 함수 없이 그룹 내 응답 간 상대적 비교를 통해 정책을 업데이트하는 알고리즘으로, 인간이 먼저 왜곡을 인지하고 이후 점수를 매기는 인지 과정을 자연스럽게 모방한다.

VQAThinker는 세 가지 맞춤형 보상을 도입한다. 첫째, 베벨형 회귀 보상은 예측 오차가 작아질수록 급격히 보상이 증가하고, 정답에 근접했을 때는 포화되는 형태로 설계돼, 기존의 선형 혹은 이진 보상보다 미세한 점수 차이를 효과적으로 학습한다. 둘째, 쌍대 순위 보상은 두 비디오 쌍의 MOS 관계와 모델 예측 관계가 일치할 때 보상을 부여함으로써, 상대적 품질 순서를 유지하도록 강제한다. 이는 특히 데이터셋 간 MOS 스케일 차이를 완화하는 데 기여한다. 셋째, 시간 일관성 보상은 원본 비디오와 프레임 순서 교환·중복 등 인위적 시간 교란을 적용한 버전 간 예측 차이를 최소화하도록 유도한다. 이를 통해 프레임 간 일관성을 학습하고, 움직임 블러·프레임 드랍 등 시간 왜곡에 민감하게 반응한다.

모델 구조는 오프‑더‑쉘프 LMM에 고정된 모션 피처 추출기와 이를 언어 임베딩 공간으로 매핑하는 모션 프로젝터를 추가한다. 입력 비디오는 프레임 샘플링 후 텍스트 프롬프트와 함께 LMM에 전달되며, 모델은 … 형태의 이유 추론 텍스트와 … 형태의 스칼라 점수를 동시에 출력한다. 이렇게 생성된 이유 텍스트는 보상 계산에 직접 활용되지 않지만, 인간이 이해할 수 있는 설명을 제공함으로써 모델의 투명성을 크게 향상시킨다.

학습 단계에서는 동일한 비디오에 대해 K개의 후보 응답을 생성하고, 각 응답에 대해 위 세 보상을 계산한다. GRPO는 그룹 내 보상 순위를 기반으로 정책 그라디언트를 추정하고, 이를 통해 θ 파라미터를 업데이트한다. 중요한 점은 MOS 레이블만 사용한다는 점이다. 기존 설명 가능한 VQA 연구는 대규모 품질 설명 데이터셋(예: Q‑Insight, OmniVQA‑Chat)을 필요로 했지만, VQAThinker는 순수 MOS supervision만으로도 이유 추론 능력을 습득한다.

실험에서는 LSVQ를 학습 데이터로 사용하고, UGC‑VQA, LIVE‑VQC, KoNViD‑1k 등 다양한 인‑도메인 및 OOD 벤치마크에서 최신 NR‑VQA 모델(예: VMAF‑NR, FAST‑VQA)과 최근 LMM 기반 방법(Q‑Insight, VQ‑Insight)을 능가하는 성능을 기록한다. 특히 OOD 상황에서의 SRCC/PLCC 향상이 두드러져, 제안된 보상이 일반화에 실질적인 기여를 함을 입증한다. 또한 왜곡 속성 추출 및 품질 설명 태스크에서도, 별도의 라벨링 없이도 경쟁력 있는 정확도와 인간‑유사한 설명을 제공한다.

전체적으로 VQAThinker는 (1) 점수 수준 감독만으로도 이유 추론을 학습하는 효율적인 프레임워크, (2) 베벨형 회귀·순위·시간 보상이라는 세 가지 새로운 보상 설계, (3) 고정된 모션 피처와 LMM 결합을 통한 시간‑공간 품질 표현, (4) OOD 일반화와 설명 가능성을 동시에 달성한 최초의 NR‑VQA 모델이라는 점에서 의미가 크다. 향후 연구는 더 다양한 왜곡 유형과 실시간 적용을 위한 경량화, 그리고 인간‑컴퓨터 인터랙션을 고려한 인터페이스 설계로 확장될 수 있다.