범위 기반 채널 절단과 프레임 패킹을 이용한 머신용 특징 압축

초록

본 논문은 MPEG‑FCM 표준을 위한 중간 특징 텐서의 채널을 활성도 기반으로 동적으로 선택·제거하고, 남은 채널을 효율적으로 프레임에 패킹하는 방법을 제안한다. 채널 범위와 평균값을 이용한 임계값 α = 2/3을 적용해 저활성 채널을 첫 프레임에서 트렁케이션하고 128프레임 동안 유지한다. 압축 효율은 평균 BD‑Rate 감소 10.59%를 달성하면서 객체 검출·추적 정확도는 유지한다.

상세 분석

이 연구는 기존 MPEG‑FCM 파이프라인에 채널 수준의 가변 압축을 추가함으로써, 특징 텐서의 비활성 채널을 실시간으로 식별하고 제거하는 새로운 메커니즘을 제시한다. 핵심 아이디어는 포스트‑리덕션 텐서의 각 채널에 대해 최대값과 최소값의 차이인 ‘채널 범위’를 계산하고, 전체 채널 평균 범위에 비례하는 임계값 threshold = α·(1/N)∑(max − min) 을 설정한다. 여기서 α는 0과 1 사이의 조정 파라미터이며, 논문에서는 α = 2/3을 선택해 압축률과 정확도 사이의 균형을 맞춘다. 범위가 임계값 이하인 채널은 ‘비활성’으로 판단되어 첫 프레임에서 트렁케이션되고, 이후 128프레임 동안 동일한 채널 집합이 유지된다. 이는 비활성 채널이 다시 활성화될 가능성을 최소화하면서 비트스트림 구조의 변동을 방지한다.

트렁케이션된 채널은 새로운 프레임 크기로 재패킹되며, 활성 채널은 가능한 한 인접하게 배치해 공간적 근접성을 활용한다. 이 과정에서 각 채널의 활성/비활성 정보를 1비트씩 전송하는 오버헤드가 발생하지만, 320채널 기준 320비트에 불과해 전체 비트레이트에 미치는 영향은 무시할 수준이다. 디코더는 수신된 비트스트림과 활성 비트맵을 이용해 원본 채널 수를 복원하고, 트렁케이션된 채널은 유지된 채널들의 평균값으로 채워 ‘플랫’ 채널을 만든다. 이렇게 복원된 텐서는 기존의 특징 복원 네트워크(g_s)와 동일하게 동작한다.

실험에서는 Detectron2 기반 FPN 백본을 사용한 객체 검출(SFU‑HW)과 JDE 기반 객체 추적(TVD, HiEve) 시나리오에서 BD‑Rate 감소를 측정했다. 특히 클래스 C·D에서는 16% 이상, HiEve 1080p에서는 11%의 비트레이트 절감 효과를 보였으며, TVD와 같이 채널 활성도가 높은 경우에는 트렁케이션이 자동으로 비활성화돼 성능 저하가 없었다. 이는 제안 방법이 입력 콘텐츠와 분할 지점에 따라 적응적으로 동작한다는 것을 의미한다.

계산 복잡도 측면에서는 채널 범위 계산과 임계값 비교가 매우 경량이며, 프레임 패킹과 비트맵 전송 역시 기존 비디오 코덱 파이프라인에 최소한의 추가 연산만을 요구한다. 따라서 센서 디바이스와 같은 제한된 환경에서도 실시간 적용이 가능하다.

전체적으로 이 논문은 특징 압축을 위한 기존의 학습 기반 압축기와 달리, 추론 시점에 동적으로 채널을 선택·제거함으로써 표준 비디오 코덱을 그대로 활용하면서도 의미 있는 비트레이트 절감과 정확도 유지라는 두 마리 토끼를 잡았다.