딥 비디오 프리코딩으로 표준 코덱 효율 극대화

본 논문은 현재와 미래의 표준 비디오 코덱(MPEG‑AVC, HEVC, VVC, VP9, AV1 등)과 전혀 호환되는 형태의 딥러닝 기반 프리코딩 프레임워크를 제안한다. 프리코딩은 전통적인 통신 분야에서 송신 신호를 수신기 특성에 맞게 사전 변형하는 기술을 차용한 것으로, 영상 스트리밍에서는 인코딩 전 단계에서 프레임을 다운스케일링하고, 클라이언트는 기존 플레이어가 지원하는 선형 업스케일링(바이리니어)만을 사용해 원본 해상도로 복원한다. ### 1. 프리코딩 시스템 구조 시스템은 크게 세 부분으로 구성된다. (1) 다중 스케일 다운스케일링 CNN, (2) 프리코딩 모드 선택 알고리즘, (3) 기존 인코더‑디코더 파이프라인. 다중 스케일 CNN은 연속적인 컨볼루션 블록을 통해 2×, 4×, 8× 등 여러 다운스케일 팩터를 동시에 학습한다. 학습 시에는 다운스케일된 이미지에 바이리니어 업스케일링을 적용했을 때 발생하는 블러와 앨리어싱을 최소화하도록 설계된 손실 함수를 사용한다. 이렇게 하면 클라이언트가 실제 재생 시 적용하는 업스케일링 필터와 정확히 매칭되어, 추가적인 복잡한 슈퍼레졸루션 모델이 필요 없게 된다. 프리코딩 모드 선택 알고리즘은 각 GOP(그룹 오브 피처스)마다 콘텐츠 복잡도(예: 움직임, 텍스처, 에너지 스펙트럼)와 목표 비트레이트, 사용 코덱의 특성을 정량화한다. 이후 사전 구축된 레이트‑디스토션 곡선(PSNR, VMAF 기반)과 비교해 가장 높은 품질‑비용 효율을 제공하는 다운스케일 비율을 선택한다. 선택된 스케일은 메타데이터 형태로 매니페스트 파일에 삽입되어, DASH/HLS 클라이언트는 기존 방식대로 비트레이트와 해상도 정보를 읽어 스트리밍한다. ### 2. 구현 및 학습 세부 사항 - **데이터셋**: XIPH 리포지터리에서 추출한 FHD와 UHD 영상 클립을 사용. - **네트워크**: 각 스케일 단계마다 5~7개의 3×3 컨볼루션 레이어와 ReLU 활성화, 마지막에 1×1 컨볼루션으로 채널 수를 축소. - **손실 함수**: L1 재구성 손실 + SSIM 손실 + 업스케일링 후 PSNR 손실을 가중합. - **학습**: Adam 옵티마이저, 초기 학습률 1e‑4, 200 에폭 동안 진행. - **인코더 설정**: x264, x265, libvpx‑vp9를 각각 ‘slow’, ‘medium’, ‘fast’ 프리셋으로 실행하고, 목표 비트레이트는 1 Mbps~15 Mbps 범위. ### 3. 실험 결과 - **비트레이트 절감**: 전체 평균 15 %~45 % 절감, 특정 고복잡도 장면에서는 최대 52 % 절감. - **품질 유지**: 동일 비트레이트에서 VMAF 점수가 평균 3~5 포인트 상승, PSNR도 0.5~1.2 dB 향상. - **인코딩 복잡도**: 다운스케일 비율에 따라 GOP 크기가 6 %~64 %로 감소, 인코더 CPU 사용량이 평균 20 % 감소. - **VVC 테스트**: 초기 VVC 테스트 모델(v0.6.2rc1)에서도 비슷한 수준의 절감 효과 확인. ### 4. 논의 및 한계 프리코딩은 클라이언트 측 변경이 전혀 필요 없다는 점에서 실용성이 높다. 그러나 현재는 바이리니어 업스케일링에 최적화돼 있어, 하드웨어 가속 업스케일링(예: Lanczos, 고정밀 보간) 지원 디바이스에서는 추가 재학습이 필요할 수 있다. 또한 프리코딩 모드 선택이 인코더 파라미터와 강하게 연관돼 있어, 완전 자동화된 파이프라인을 위해서는 메타러닝 기반 정책이 향후 연구 과제로 남는다. ### 5. 결론 본 연구는 딥러닝 기반 다운스케일링을 프리코딩 단계에 적용함으로써, 기존 표준 코덱의 레이트‑디스토션 효율을 크게 향상시키는 새로운 접근법을 제시한다. 서버 측에서만 연산이 이루어지므로 클라우드 인코딩 비용 절감과 동시에, 현재와 미래의 모든 비디오 전송 표준과 완전 호환된다. 이는 OTT 서비스 제공자, CDN 운영자, 그리고 하드웨어 제조업체에게 즉시 적용 가능한 실용적인 솔루션으로 평가될 수 있다.