하이브리드프롬프트 전통 코덱과 생성 모델의 융합으로 모바일 스트리밍 혁신

초록

HybridPrompt는 키프레임을 생성형 신경 모델로 인코딩하고, 나머지 프레임은 기존 전통 코덱으로 전송하는 하이브리드 구조를 제안한다. 전통 디코더를 미분 가능하게 만들고 엔드‑투‑엔드 최적화를 적용해 생성된 키프레임이 전통 코덱의 예측에 최적화되도록 학습한다. 결과적으로 1080p 영상을 스마트폰에서 150FPS 이상 실시간 디코딩하면서 200kbps 비트레이트에서 기존 코덱 대비 LPIPS 8% 향상을 달성한다.

상세 분석

HybridPrompt 논문은 모바일 비디오 스트리밍이라는 실용적 문제를 해결하기 위해 두 가지 상반된 비디오 압축 패러다임을 결합한다. 첫 번째는 전통적인 블록 기반 코덱(H.264/H.265 등)으로, 높은 디코딩 효율과 하드웨어 가속을 제공하지만 저대역폭에서는 눈에 띄는 품질 저하가 발생한다. 두 번째는 최근 급부상한 생성형 신경 코덱으로, 프레임을 픽셀 단위가 아닌 고차원 잠재 공간에서 재구성함으로써 인간 지각에 더 가까운 품질을 얻지만, 현재의 모델은 프레임당 수백 밀리초 이상의 연산을 요구해 모바일 실시간 재생이 불가능하다. 논문은 이러한 딜레마를 “키프레임‑예측 프레임” 구조로 재구성한다. 키프레임은 고품질 생성 모델(예: VQ‑VAE‑2, Diffusion 기반 인코더)으로 압축하고, 그 이후 프레임은 전통 코덱의 인터‑프레임 예측 메커니즘에 맡긴다.

핵심 기술적 기여는 전통 디코더를 미분 가능하게 만든 점이다. 일반적으로 전통 코덱은 양자화, 모션 보상, 엔트로피 코딩 등 비선형 연산이 포함돼 역전파가 불가능하다고 여겨졌지만, 저자들은 양자화와 엔트로피 코딩을 소프트 스테핑(soft‑round)과 Gumbel‑Softmax 기법으로 근사하고, 모션 보상 블록을 차별화 가능한 형태로 재구성했다. 이를 통해 전체 파이프라인을 엔드‑투‑엔드로 학습시킬 수 있었다. 학습 목표는 두 가지 손실을 동시에 최소화하는 것이다. 첫 번째는 perceptual loss(LPIPS, VGG 기반)로 생성된 키프레임의 시각적 품질을 보장하고, 두 번째는 reconstruction loss와 bitrate loss를 결합한 rate‑distortion 손실로 키프레임이 전통 코덱의 모션 예측에 최적화되도록 만든다. 즉, 키프레임이 “예측 친화적”이면서도 “시각적으로 풍부”하도록 강제한다.

또한 논문은 2단계 생성 전략을 도입한다. 초기 단계에서는 저해상도(720p)에서 빠른 프리트레인된 생성 모델을 사용해 대략적인 키프레임을 만든 뒤, 두 번째 단계에서 고해상도(1080p) 디테일을 추가하는 고해상도 업스케일링 네트워크를 적용한다. 이 과정은 메모리와 연산량을 크게 절감하면서도 최종 출력의 품질을 유지한다. 실험에서는 최신 모바일 GPU(NVIDIA Snapdragon 8 Gen 2)에서 1080p 150FPS 이상의 디코딩 속도를 달성했으며, 200kbps 비트레이트에서 기존 H.264 대비 LPIPS 8% 향상, PSNR은 약간 감소했지만 주관적 품질은 크게 개선되었다.

한계점으로는 키프레임 간 간격이 길어질수록 전통 코덱의 예측 오류가 누적될 위험이 있다는 점이다. 또한 생성 모델 자체가 아직도 학습 데이터와 도메인에 민감하므로, 다양한 콘텐츠(예: 스포츠, 애니메이션)에서 일반화 성능을 검증할 필요가 있다. 그럼에도 불구하고, 전통 코덱의 하드웨어 가속을 그대로 활용하면서 생성 모델의 장점을 끌어낸 설계는 모바일 스트리밍 분야에 새로운 패러다임을 제시한다.