에너지 효율을 위한 적응형 해상도와 색도 서브샘플링

초록

본 논문은 해상도와 색도 서브샘플링(YUV420·422·444)을 동시에 최적화하는 ARCS 프레임워크를 제안한다. 비트레이트별로 복합 품질‑복잡도 목표를 최대화하도록 (해상도, 색도 포맷) 쌍을 선택하고, 해상도·색도 단조성 제약을 부여한다. x265 기반 실험에서 고정 YUV444 대비 평균 13.48 % 비트레이트 절감과 62.18 % 디코딩 시간 감소(에너지 절감) 효과를 보였다.

상세 분석

ARCS는 기존 적응형 스트리밍에서 무시되던 색도 차원을 제어 변수로 도입함으로써 에너지 효율성을 크게 향상시킨다. 핵심 아이디어는 각 목표 비트레이트 b에 대해 가능한 해상도 R과 색도 서브샘플링 C(420, 422, 444) 조합을 모두 인코딩·디코딩하고, 세 가지 측정값—비트레이트, 색도‑인식 품질(Q), 디코딩 시간(τ_D)—을 수집한다. 품질‑복잡도 복합 지표 J = Q − α·log(τ_D) 를 정규화한 J′를 정의하고, α는 품질과 에너지 절감 사이의 트레이드오프를 조정한다.

최적화는 단순히 J′를 최대화하는 (r*, c*)를 선택하는 것이지만, 실제 스트리밍 환경에서는 급격한 해상도·색도 변동이 사용자 경험을 해칠 수 있다. 이를 방지하기 위해 두 가지 단조성 제약을 도입한다. 첫째, 비트레이트가 증가할수록 해상도는 감소하지 않아야 한다(r_i+1 ≥ r_i). 둘째, 동일 해상도 구간 내에서는 색도 포맷도 비트레이트가 증가함에 따라 품질이 떨어지지 않도록(c_i+1 ≥ c_i) 하되, 해상도가 바뀔 때는 색도 포맷을 “리프레시”하여 낮은 서브샘플링(예: 420)으로 돌아갈 수 있다. 이러한 제약은 파레토 최적화 곡선을 매끄럽게 유지하면서도 구현상의 안정성을 보장한다.

실험 설계는 15개의 UHD(4K) 영상에 대해 1080p와 2160p 두 해상도, 세 색도 포맷을 조합해 총 90개의 (r, c) 조합을 생성하고, x265 slower 프리셋과 HM 레퍼런스 디코더를 사용해 인코딩·디코딩을 수행했다. 품질 평가는 색도‑인식 VDP(ColorVideoVDP)와 가중 PSNR을, 복잡도 평가는 평균 디코딩 시간(프레임당)을 사용했다. Bjøntegaard Δ비트레이트(BDR)와 Δ디코딩시간(BDDT)을 각각 품질·복잡도 축에 적용해 전체 성능을 정량화하였다.

결과는 α = 0 (품질 우선)일 때 ARCS가 기본 YUV444 인코딩 대비 평균 −13.48 % BDR과 −62.18 % BDDT를 달성함을 보여준다. α를 0.04로 높이면 디코딩 시간 절감이 −75.97 %까지 확대되지만 BDR은 −12.07 % 수준으로 유지된다. 이는 α가 에너지 절감 강도를 조절하는 직관적인 파라미터임을 증명한다. 또한 색도 포맷 선택 확률을 분석한 결과, α가 커질수록 YUV420 사용 비중이 급격히 상승하고 YUV444 사용이 감소한다는 점에서 색도 적응이 복잡도 감소에 핵심 역할을 함을 확인할 수 있다.

ARCS의 장점은 다음과 같다. (1) 색도 서브샘플링을 제어 변수로 포함해 기존 해상도‑비트레이트 최적화에 새로운 차원을 추가한다. (2) 복합 목표 함수와 단조성 제약을 통해 품질 저하 없이 디코딩 에너지(시간)를 크게 절감한다. (3) HEVC, VVC, AV1 등 최신 코덱에 적용 가능하도록 코덱‑중립적인 설계이다. 반면 한계점도 존재한다. (1) 디코딩 시간만을 에너지 대리 변수로 사용했으며, 실제 모바일/임베디드 환경에서 전력 측정이 필요하다. (2) 실시간 스트리밍 시점에 최적화를 수행하려면 사전 학습된 품질‑복잡도 모델이 필요하므로 추가적인 메타데이터 전송이 요구될 수 있다. (3) 색도 서브샘플링 전환 시 발생할 수 있는 색상 경계 아티팩트에 대한 부드러운 전환 기법이 아직 미비하다.

향후 연구는 (i) 실제 전력 센서를 이용한 에너지 측정과 모델링, (ii) 머신러닝 기반 실시간 품질‑복잡도 예측, (iii) 색도 전환 시 시각적 매끄러움을 보장하는 포스트‑프로세싱 기법을 포함한 전체 파이프라인 통합을 목표로 할 수 있다.