정지 프레임 감지를 통한 가변 골든프레임 그룹 코딩 최적화

본 논문은 최신 오픈소스 비디오 코덱인 AOM/AV1에서 사용되는 골든프레임(GF) 그룹 코딩 구조를 영상 내용에 따라 동적으로 전환하는 새로운 방법을 제시한다. AV1은 기존에 모든 GF 그룹에 대해 Figure 1a와 같은 다중 레이어(멀티‑백워드 레퍼런스) 구조를 적용한다. 이 구조는 LAST·LAST2·LAST3·GOLDEN·ALTREF·extra‑ALTREF·BWDREF 등 여러 레퍼런스를 활용해 프레임 간 예측 효율을 높이지만, 프레임 간 차이가 거의 없는 ‘정지’ 구간에서는 불필요한 레퍼런스 관리와 모션 정보 전송으로 비트 오버헤드가 증가한다는 문제점이 있다. 이를 해결하기 위해 저자는 첫 번째 인코딩 패스에서 얻은 블록 매칭 정보를 활용해 세 가지 정량적 메트릭을 정의한다. 1) **Zero‑motion accumulator**: GF 그룹 내 각 프레임에서 제로 모션 블록 비율을 계산하고, 그 최소값을 사용한다. 값이 0.9 이상이면 거의 모든 블록이 움직이지 않았음을 의미한다. 2) **Average pixel error**: 각 프레임의 SSE(블록‑단위 제곱오차)를 프레임 픽셀 수로 정규화한 뒤 평균을 구한다. 정지 구간에서는 평균 오류가 40 이하로 낮다. 3) **Average error standard deviation**: 제로 모션 예측에 기반한 블록‑단위 SSE의 표준편차를 프레임별로 계산하고, 그 평균을 구한다. 정지 구간에서는 오류 분포가 균일하므로 2000 이하가 된다. 이 세 메트릭에 대해 실험적으로 도출한 임계값(Zero‑motion ≥ 0.9, Avg pixel error < 40, Avg error std < 2000)을 모두 만족하면 해당 GF 그룹을 ‘정지’라고 판단한다. 정지 GF 그룹에 대해서는 Figure 1b와 같은 단일 레이어 코딩 구조를 적용한다. 이 구조는 여전히 LAST·LAST2·LAST3·GOLDEN·ALTREF 등 기본 레퍼런스를 사용하지만, extra‑ALTREF·BWDREF와 같은 추가 백워드 레퍼런스를 배제한다. 결과적으로 전송해야 할 모션 벡터와 레퍼런스 관리 정보가 크게 감소하고, 비트 할당이 보다 균형 있게 이루어진다. 반대로 ‘비정지’ GF 그룹(동작이 있거나 복잡한 장면)에서는 기존 다중 레이어 구조를 유지해 높은 시간적 상관성을 활용한다. 실험은 두 개의 공개 테스트 세트(저해상도 CIF 40개, 중해상도 480p/360p 30개)를 사용했으며, 각 비디오를 여러 목표 비트레이트에서 인코딩했다. 정지 구간이 포함된 ‘pamplet.cif’, ‘bowing.cif’, ‘snow_mnt’ 등에서는 BD‑Rate(PSNR 기준) 감소가 각각 –1.395 %, –1.118 %, –0.767 %에 달했고, SSIM 기준에서도 유사한 개선을 보였다. 전체 저해상도 세트에 대한 평균 BD‑Rate 감소는 –0.063 %(PSNR), –0.045 %(SSIM)이며, 중해상도 세트는 –0.026 %와 –0.041 %였다. 이 접근법의 장점은 첫 번째 패스에서 이미 계산된 정보를 재활용함으로써 추가 연산 비용이 거의 없다는 점이다. 또한 정지 구간을 정확히 구분함으로써 코덱이 과도한 레퍼런스를 사용해 발생하는 비효율을 방지한다. 논문은 또한 ‘고속 줌‑아웃’이나 ‘고속 움직임’ 구간에서도 단일 레이어가 유리할 수 있음을 시사하며, 메트릭을 확장해 보다 정교한 콘텐츠‑기반 코딩 제어로 발전시킬 여지를 남긴다.