콘텐츠 기반 프레임 레벨 비트 예측을 이용한 VVC 레이트 컨트롤

초록

본 논문은 VVC 인코더의 레이트 컨트롤을 개선하기 위해 Video Complexity Analyzer(VCA)에서 추출한 경량 콘텐츠 특성을 활용해 프레임별 비트 사용량을 Random Forest 회귀 모델로 예측한다. I‑, P‑, B‑프레임 각각에 특화된 모델을 학습시켜 0.93, 0.88, 0.77의 R²를 달성했으며, 2패스 레이트 컨트롤과 동일한 코딩 효율을 유지하면서 인코딩 시간을 33 % 절감한다.

상세 분석

이 연구는 VVC(Versatile Video Coding)에서 기존의 2패스 레이트 컨트롤(2pRC)이 갖는 복잡도와 비선형 비트‑QP 관계 모델링 한계를 극복하고자 한다. 핵심 아이디어는 VCA(Video Complexity Analyzer)에서 제공하는 7개의 경량 특성—Y, U, V 채널의 텍스처 에너지(EY, EU, EV), 밝기(LY, LU, LV), 그리고 프레임 간 텍스처 변화량(h)—을 이용해 프레임 레벨 비트 소비를 직접 예측하는 것이다. 이러한 특성은 DCT 기반 블록 분석을 통해 실시간으로 추출 가능하며, 공간 복잡도와 시간적 변동성을 동시에 포착한다는 장점이 있다.

프레임 유형별로 모델을 별도 설계한다는 점도 중요한 설계 선택이다. I‑프레임은 순수히 공간 복잡도에 의존하므로 7개의 특성과 QP만을 입력으로 사용하고, P‑프레임은 과거 프레임과의 텍스처 차이(h_ref)와 참조 프레임 QP(q_ref)를 추가한다. B‑프레임은 양방향 예측 특성상 두 개의 참조 프레임에 대한 h_ref1, h_ref2 및 q_ref1, q_ref2를 포함한다. 이렇게 명시적인 변수 구성을 통해 모델이 각 프레임 유형의 고유한 비트 소비 메커니즘을 학습하도록 유도한다.

학습에는 선형 회귀, XGBoost, Random Forest 세 가지 회귀 기법을 비교했으며, Random Forest가 가장 높은 R²와 가장 낮은 MAPE를 기록했다. 특히 100개의 트리와 최대 깊이 16으로 제한한 경량 RF는 추론 지연이 매우 짧아 실시간 인코딩 파이프라인에 적합하다. SHAP 분석 결과, QP는 모든 프레임에서 가장 큰 영향력을 갖지만, EY와 h_ref 같은 콘텐츠 특성도 유의미하게 기여한다는 점이 확인되었다.

두 번째 패스에서는 첫 패스에서 예측된 비트량을 기반으로 목표 비트(b′)와 현재 예측 비트(ˆb)를 비교해 QP를 보정한다. 기존 VVC 내부 R‑QP 모델의 저비트 영역 스케일링 상수(c_low)와 고비트 영역 보정 상수(c_high)를 그대로 활용함으로써, 기존 2pRC와 동일한 비트 할당 로직을 유지하면서도 추가적인 트라이얼 인코딩 없이 QP를 조정한다. 결과적으로 전체 GOP 내에서 목표 비트레이트를 정확히 맞출 수 있었으며, 평균 목표 비트레이트 편차는 0.05 %에 불과했다.

성능 평가에서는 Inter‑4K 데이터셋(1000개 UHD 영상)으로 5‑fold 교차 검증을 수행했으며, JVET CTC 시퀀스(A1, A2)에서 BD‑Rate를 -0.14 %까지 개선하거나 0.26 % 이하의 손실만을 보였다. 인코딩 속도는 2pRC의 0.40 fps 대비 10 fps 이상으로 25배 가속했으며, 전체 인코딩 시간은 33.3 % 감소했다. 이러한 결과는 경량 VCA 특성과 RF 기반 비트 예측이 복잡한 VVC 레이트 컨트롤에 충분히 적용 가능함을 입증한다. 다만 B‑프레임에서 R²가 0.77에 머무는 등 고변동성 장면에서는 예측 정확도가 다소 낮아질 수 있다는 한계가 남는다. 향후 딥러닝 기반 시계열 모델이나 더 정교한 특성 선택을 통해 이러한 약점을 보완할 여지가 있다.