확산 기반 초저비트 비디오 압축과 경량 의미 가이드

초록

본 논문은 비디오의 배경 카메라 궤적과 전경 세분화 마스크라는 고수준 의미 정보를 압축하고, 이를 조건부 확산 모델에 입력해 극한 저비트레이트에서도 의미 일관성을 유지하는 새로운 압축 프레임워크를 제안한다.

상세 분석

이 연구는 기존 코덱과 학습 기반 압축 방식이 픽셀 수준의 저차원 중복성에 의존해 극단적인 비트레이트에서는 의미 손실이 크게 발생한다는 한계를 정확히 짚어낸다. 저자는 두 단계의 의미 추출을 도입한다. 첫 번째는 배경 움직임을 카메라 포즈(내부·외부 파라미터)로 모델링함으로써, 프레임당 12N+4개의 부동소수점 값만으로 전역 변환을 표현한다. 포즈는 상대적 변환으로 전환하고, 2프레임마다 샘플링 후 차분을 양자화·허프만 코딩해 압축 효율을 극대화한다. 두 번째는 전경 움직임을 SAM2와 LLM 기반 파이프라인으로 정확히 식별하고, 전용 세분화 마스크 시퀀스를 DCVC‑FM으로 압축한다. 여기서 LLM은 캡션을 파싱해 “움직이는 객체”를 추출하고, SAM2는 해당 객체에 대한 일관된 마스크를 생성한다는 점이 혁신적이다.

압축된 의미 정보와 첫 intra‑frame(이미지 수준 확산 압축)만을 전송하고, 수신 측에서는 카메라 포즈와 마스크를 복원한 뒤, 사전 학습된 Stable Video Diffusion‑XL(SVD‑XL)에 두 개의 어댑터(포즈 어댑터·마스크 어댑터)를 삽입해 조건부 생성한다. 포즈는 Plücker 임베딩으로 변환돼 시공간 어텐션에 결합되고, 마스크는 ControlNet을 통해 U‑Net 업샘플링 단계에 주입된다. 이렇게 함으로써 프레임 간 일관성을 유지하면서도 픽셀 수준의 복원을 수행한다.

실험에서는 RealEstate10K를 미세조정하고, DA‑VIS와 MCL‑JCV 데이터셋에서 BPP 대비 LPIPS, FVD, CLIP‑Score, 주관적 시각 품질 등 다중 지표를 평가했다. 결과는 H.264/H.265와 최신 학습 기반 DCVC‑FM을 크게 앞서며, 특히 0.02 BPP 이하에서 의미 보존이 눈에 띄게 우수함을 보여준다. 압축 분석표는 텍스트(미미), 카메라 포즈(≈45 %), 세그멘테이션(≈45 %)가 전체 비트레이트를 차지함을 밝혀, 의미 기반 압축이 전체 효율의 핵심임을 입증한다.

이 논문의 주요 기여는 (1) 배경‑전경을 구분한 계층적 의미 표현, (2) LLM‑SAM2 연계 전경 식별 파이프라인, (3) 두 종류의 의미를 동시에 제어하는 확산 어댑터 설계, (4) 극한 저비트레이트에서도 의미 일관성을 유지하는 실증적 증명이다. 한계로는 포즈 추정 정확도와 마스크 압축 효율이 영상 종류에 따라 변동할 수 있으며, 현재는 고정 해상도(512×512)와 제한된 도메인(실내·부동산)에서 검증된 점이다. 향후 연구는 다중 카메라·다중 객체 시나리오, 실시간 인코딩 파이프라인, 그리고 텍스트‑비디오 공동 생성 모델과의 통합을 통해 범용성을 확대할 여지가 있다.