압축 환경에서 머신 비전 성능을 높이는 비디오 전처리 프레임워크

초록

본 논문은 영상 압축 시 발생하는 왜곡을 머신 비전 과제에 최소화하도록 설계된 신경망 기반 전처리 모듈과, 학습 단계에서 압축률·왜곡을 정량화할 수 있는 미분 가능한 가상 코덱을 제안한다. 실제 H.264·H.265 코덱을 사용한 테스트에서 기존 방식 대비 15 % 이상 비트레이트 절감과 정확도 유지 효과를 입증하였다.

상세 분석

이 연구는 “머신 비전 전용 비디오 압축 최적화”라는 비교적 새로운 문제에 접근한다는 점에서 의미가 크다. 기존 영상 코덱은 인간 시각에 최적화된 PSNR·VMAF 같은 지표를 최소화하도록 설계돼, 저비트레이트 상황에서 객체 검출·동작 인식 등 downstream task의 성능이 급격히 저하된다. 저자는 이를 해결하기 위해 두 가지 핵심 요소를 도입한다. 첫째, 입력 영상을 사전에 변형해 압축 후에도 중요한 시공간 특징을 보존하도록 학습되는 ‘신경망 전처리기’를 설계한다. 이 전처리기는 temporal branch와 spatial branch로 구성돼, 각각 프레임 간 움직임 정보와 프레임 내부 텍스처 정보를 추출한 뒤 conditional attention 으로 융합한다. residual connection을 사용해 원본 영상과의 차이를 최소화하면서도 압축에 강인한 표현을 만든다. 둘째, 전통적인 코덱은 비미분 가능해 end‑to‑end 학습에 활용할 수 없으므로, 저자는 ‘가상 코덱(virtual codec)’을 제안한다. 가상 코덱은 실제 비디오 코덱의 기본 흐름—예측, 변환, 양자화, 역변환—을 텐서 연산으로 구현하고, 양자화 파라미터 f_q 를 통해 QP를 모사한다. 이렇게 얻어진 재구성 잔차는 MSE 기반 왜곡 손실(L_D)과 Balle et al.