멀티태스크 학습으로 게임 비디오 무참조 품질 평가

초록

본 논문은 게임 스트리밍 영상의 무참조 비디오 품질 평가(NR‑VQA)를 위해, 여러 전참조(FR) 품질 지표를 동시에 감독 신호로 활용하는 멀티태스크 학습 프레임워크(MTL‑VQA)를 제안한다. 프리트레인 단계에서 공유 인코더를 다중 FR 손실을 균형 있게 최적화해 인식 친화적 특징을 학습하고, 평가 단계에서는 인코더를 고정한 뒤 가벼운 SVR 헤드만으로 MOS를 예측한다. 실험 결과, 제한된 라벨 환경에서도 기존 최첨단 NR‑VQA와 경쟁하거나 이를 능가함을 보였다.

상세 분석

MTL‑VQA는 기존 NR‑VQA가 직면한 두 가지 핵심 난관을 동시에 해결한다. 첫째, 게임 영상은 자연 영상과 달리 빠른 움직임, 스타일화된 그래픽, HUD와 같은 UI 오버레이, 그리고 압축 아티팩트가 복합적으로 존재한다. 이러한 특성은 자연 장면 기반 IQA/VQA 모델이 가정하는 통계적 특성과 크게 다르기 때문에, 직접적인 MOS 학습만으로는 일반화가 어렵다. 둘째, 인간 주관점수(MOS)가 제한된 데이터셋에만 존재하고, 라벨링 비용이 높아 대규모 학습이 힘들다. 저자는 이러한 문제를 해결하기 위해 전참조 품질 지표(SSIM, MS‑SSIM, VMAF, FovVideoVDP 등)를 “프록시”로 활용한다. 단일 프록시 대신 다중 프록시를 동시에 학습함으로써 특정 지표에 편향되는 위험을 감소시키고, 서로 보완적인 품질 정보를 통합한다.

다중 손실의 균형은 MinNormSolver 기반의 Multiple Gradient Descent Algorithm(MGDA)으로 구현한다. 각 FR 손실에 대해 개별적으로 그래디언트를 계산한 뒤, L2 노름을 최소화하는 비음수 가중치 α를 구해 가중합 손실을 만든다. 이 과정은 공유 인코더 파라미터가 어느 한 작업에 과도하게 최적화되는 것을 방지하고, 진정한 품질 인식을 위한 공통 표현을 학습하게 만든다. 손실 함수는 Smooth‑L1을 사용해 이상치에 강인하도록 설계하였다.

프리트레인 데이터는 PGC(Professional Generated Content) 기반의 GamingVideoSET, KUGVD, CGVDS 등에서 추출했으며, 각 원본 영상을 다양한 비트레이트(0.255 Mbps)로 재인코딩해 885 000개의 프레임을 확보했다. 이렇게 풍부한 왜곡을 포함한 프레임 레벨 FR 라벨은 인코더가 왜곡‑콘텐츠 상관관계를 학습하도록 돕는다. 프리트레인 후 인코더는 고정하고, 평균 풀링을 통해 클립 레벨 특징을 만든 뒤, 라벨이 거의 없는 상황에서는 소량의 MOS(예: K=10100)만으로 SVR 또는 Ridge 회귀를 학습한다. 이 방식은 라벨 효율성을 크게 높이며, 특히 PGC‑to‑UGC 도메인 이동에서 강인한 성능을 보인다.

실험에서는 LIVE‑Meta MCG(프로그래밍된 PGC), LIVE‑YouTube Gaming(프로그래밍된 PGC), YouTube UGC‑Gaming(사용자 생성 UGC) 세 데이터셋에 대해 0‑shot, few‑shot, full‑split 프로토콜을 적용했다. MTL‑VQA는 0‑shot 상황에서도 기존 단일 프록시 기반 모델보다 높은 SRCC/PLCC을 기록했으며, 100개의 라벨만으로도 PLCC 0.93에 근접하는 성능을 달성했다. Ablation 연구에서는 VMAF 단일 프록시 대비 SSIM+MS‑SSIM+VMAF를 함께 학습했을 때 평균 SRCC가 약 0.054 상승함을 확인했다. 이는 다중 FR 프록시가 서로 다른 품질 측면을 보완해 보다 풍부한 표현을 만든다는 가설을 실증한다.

또한, 저자는 실시간 클라우드 게이밍 환경을 고려해 인코더를 ResNet‑50으로 제한하고, 프레임 샘플링을 1 fps로 낮추어 연산량을 최소화했다. 평가 단계에서 추가적인 참조 영상이 필요 없으며, SVR 헤드만으로도 실시간 QoE 모니터링이 가능하도록 설계했다. 전체 파이프라인은 공개 코드와 사전 학습 모델을 통해 재현 가능하도록 제공될 예정이다.

요약하면, MTL‑VQA는 (1) 다중 FR 프록시를 활용한 균형 잡힌 멀티태스크 학습, (2) 프리트레인‑후 고정 인코더와 경량 회귀기 구성, (3) 라벨 효율성을 극대화한 적은 MOS로도 높은 일반화 성능을 달성하는 세 가지 핵심 요소를 결합한다. 이는 게임 스트리밍 서비스에서 품질 저하를 실시간으로 감지하고, 사용자 경험을 유지·향상시키는 실용적인 솔루션으로 평가된다.