예측과 엔트로피 기반 잔차 모션 추정으로 에너지 효율적인 의미 비디오 통신

초록

본 논문은 영상 전송 시 의미 기반 압축 효율을 극대화하기 위해, 프레임별 모션 강도·일관성·이질성 등을 평가해 CNN, Vision Transformer, Optical Flow 중 최적의 잔차 모션 추정 모델을 자동 선택하는 PEN ME 프레임워크를 제안한다. 선택된 잔차 모션을 전송하고, 예측 불가능하거나 잔차가 큰 프레임에만 경량 확산 모델(Latent Consistency Model‑4)으로 정제한다. 또한 잔차 모션과 채널 상태를 고려한 RB 할당으로 전력·대역폭을 절감한다. Vimeo90K 실험에서 지연 40 % 감소, 전송 데이터 90 % 절감, PSNR 40 % 향상 등 기존 방법을 크게 능가한다.

상세 분석

PEN ME는 “Predictability‑aware and Entropy‑adaptive Neural Motion Estimation”의 약자로, 영상 스트리밍에서 의미 손실을 최소화하면서 전송 비용을 최소화하는 새로운 모션 추정·전송 전략을 제시한다. 핵심 아이디어는 프레임 쌍마다 다섯 가지 정량적 지표(모션 강도, 전역 이동 일관성, 피크 샤프니스, 지역 이질성, 잔차 오차)를 정규화하고, 이를 기반으로 점수화하여 가장 적합한 모션 추정 엔진을 선택한다. 강하고 일관된 움직임에는 저비용 Optical Flow, 복잡하고 비선형적인 움직임에는 Vision Transformer, 약하고 균일한 움직임에는 경량 CNN을 적용함으로써 연산량과 정확도 사이의 최적 균형을 달성한다.

전송 측에서는 선택된 엔진이 생성한 잔차 모션 벡터만을 압축·전송하고, 수신 측에서는 전통적인 모션 보상(MC)으로 기본 프레임을 복원한다. 여기서 예측 불가능성(예: 높은 엔트로피)이나 잔차 크기가 임계값을 초과한 경우에만 LCM‑4(Latent Consistency Model‑4)라는 조건부 확산 기반 정제 모듈을 적용한다. LCM‑4는 몇 단계의 라티스 샘플링만 수행해 연산 비용을 크게 낮추면서, 노이즈·패킷 손실·양자화 오류에 강인한 라티스 공간에서의 재구성을 제공한다.

또한 PEN ME는 무선 채널 상태와 잔차 모션의 통계적 복잡성을 고려해 라디오 리소스 블록(RB)을 동적으로 할당한다. 잔차가 작고 채널 품질이 좋은 프레임은 최소 RB만 사용하고, 반대로 복잡하고 채널이 열악한 프레임에만 추가 RB와 전력을 할당함으로써 전체 전력 효율과 스루풋을 향상시킨다.

실험은 Vimeo90K 데이터셋을 사용해 다양한 시나리오(정적, 급격한 움직임, 저조도·노이즈 채널)에서 기존 ABR VSC, 하이브리드 코덱, 전통적인 비디오 전송 방식을 비교하였다. 결과는 PEN ME가 평균 지연을 40 % 감소시키고, 전송 데이터량을 90 % 절감했으며, PSNR을 40 %·MS‑SSIM을 19 %·LPIPS를 35 % 개선함을 보여준다. 특히 고속 움직임 구간에서 Vision Transformer와 LCM‑4의 조합이 큰 성능 향상을 이끌었으며, 저복잡도 구간에서는 CNN 기반 추정이 연산량을 크게 절감했다.

이와 같이 PEN ME는 모션 특성에 기반한 적응형 추정, 선택적 확산 정제, 채널 인식 자원 할당이라는 세 축을 결합해 의미 비디오 통신의 효율성을 크게 높이는 혁신적인 프레임워크라 할 수 있다.