래퍼 인식 비트 할당으로 머신용 특징 코딩 효율 극대화

초록

본 논문은 전통 비디오 코덱을 활용한 특징 코딩(FCM)에서, 복원 래퍼의 영향을 고려한 가중 SSE 기반 RDO(Wrapper‑Aware RDO)를 제안한다. 중요도 맵을 시간적으로 재사용하거나 사전 학습된 고정 가중치를 이용해 연산량을 크게 줄이면서도 HEVC와 AV‑C 코덱을 VVC 수준의 정확도·비트 효율로 끌어올린다.

상세 분석

FCM(F​eature Coding for Machines)은 신경망을 송신‑수신 양쪽에 분할해 중간 특징을 압축하고 전송하는 방식으로, 전통적인 비디오 코덱을 ‘래퍼(wrapper)’라 불리는 전·후처리 신경망 사이에 삽입한다. 기존 연구에서는 코덱 내부의 RDO가 단순히 입력‑출력 간의 제곱오차(SSE)를 최소화하도록 설계돼, 복원 래퍼가 실제로 필요로 하지 않는 정보까지 비트가 할당되는 비효율이 발생한다. 저자는 이를 해결하기 위해 ‘Wrapper‑Aware RDO( WA‑RDO )’를 고안했으며, 핵심 아이디어는 복원 래퍼의 Jacobian을 이용해 각 블록·픽셀의 중요도를 가중치로 변환한 뒤, 가중 SSE를 왜곡 항으로 사용해 비트 할당을 재조정하는 것이다.

수학적으로는 원래 RDO 식
(\min_{\theta}| \hat z(\theta)-z|^2 + \lambda R(\hat z(\theta)))
을
(\min_{\theta}| J_g(z)(\hat z(\theta)-z)|^2 + \lambda R(\hat z(\theta)))
로 변형한다. 여기서 (J_g(z))는 복원 래퍼 (g_2)의 Jacobian이며, 고비트율 가정 하에 양자화 잡음이 백색이라고 가정해 첫 번째 항이 주된 왜곡이라고 본다. Jacobian 자체는 차원이 매우 커서 직접 계산이 불가능하므로, 저자는 ‘스케치(Sketching)’ 기법을 적용한다. 무작위 행렬 (S)를 곱해 (J_s(z)=S J_g(z)) 로 차원을 축소하고, Johnson‑Lindenstrauss 보장을 통해 원래 거리와 근사 거리를 유지한다. 이후 (H_s(z)=J_s(z)^\top J_s(z)) 의 대각원소를 추출해 중요도 맵 (h(z)) 를 얻고, 이를 블록별 가중 대각행렬로 사용해 최적화 문제를
(\min_{\theta_i} (\hat z_i-!z_i)^\top \operatorname{diag}(h_i) (\hat z_i-!z_i) + \tau|\hat z_i-!z_i|^2 + \lambda R_i(\hat z_i))
형태로 변형한다. 여기서 (\tau)는 SSE와 가중 SSE 사이의 균형을 조절하는 파라미터이며, (\lambda)는 기존 SSE‑RDO 라그랑지안에 비례하도록 재조정한다.

연산량을 더 줄이기 위해 두 가지 실용적 변형을 제시한다. 첫째, ‘I‑frame WA‑RDO(IW‑RDO)’는 중요도 맵을 I‑프레임에서만 계산하고 GOP 전체에 재사용한다. 이는 영상·특징의 시간적 일관성을 이용해 매 프레임마다 Jacobian을 재계산하는 비용을 크게 감소시킨다. 둘째, ‘Frozen WA‑RDO(FW‑RDO)’는 특정 래퍼 구조와 작업(task)에 대해 사전 학습된 고정 중요도 패턴 (h_a = \mathbb{E}_z