MoCrop: 훈련 없이 동작 기반 영상 크롭으로 효율적인 행동 인식

초록

MoCrop은 H.264 압축 비디오에 내장된 Motion Vector를 활용해 움직임이 집중된 영역을 자동으로 찾아 영상 프레임을 어댑티브하게 크롭하는 훈련·파라미터 없이 동작하는 전처리 모듈이다. 이를 통해 기존 행동 인식 모델의 연산량을 크게 줄이면서도 정확도를 1~3% 수준 향상시킨다.

상세 분석

본 논문은 영상 행동 인식에서 흔히 발생하는 공간적 중복 문제를 압축 도메인 정보를 이용해 해결하고자 한다. H.264 코덱이 제공하는 Motion Vector(MV)는 프레임 간 움직임을 압축하기 위해 반드시 존재하는 데이터이며, 별도의 계산 없이 “무료” saliency map 역할을 할 수 있다. MoCrop은 이러한 MV를 세 단계의 경량 파이프라인으로 처리한다. 첫 단계인 Merge & Denoise(MD)에서는 전체 MV 중 상위 α 비율(예: 1%)만을 선택해 잡음과 외곽값을 제거한다. 이는 argpartition 기반의 O(|V_raw|) 연산으로 구현돼 실시간 환경에서도 부담이 없다. 두 번째 단계인 Monte Carlo Sampling(MCS)에서는 선택된 MV에 대해 움직임 크기의 β제곱(β≈4) 비례 확률로 N개의 샘플을 추출한다. 이 과정은 |V_filtered|에 비례하는 O(|V_filtered|) 복잡도를 가지며, 샘플링 비율 γ(≈0.1)을 통해 연산량을 조절한다. 세 번째 단계인 Motion Grid Search(MGS)는 프레임을 h × w(예: 16 × 9) 격자로 양자화하고, 각 격자 셀에 샘플 MV를 누적해 motion‑density map을 만든다. 이후 사전 정의된 영역 비율 ρ와 허용 오차 δ를 만족하는 모든 사각형 후보에 대해 가중 합계와 평균을 조합한 스코어 S(R)=w_sum·ΣM_ij + w_avg·(ΣM_ij/|R|) 를 계산한다. 적분 이미지 기법을 활용하면 각 후보의 스코어를 O(1) 시간에 얻을 수 있어 전체 탐색 비용은 O(h²w²) 수준에 머문다(실험에서는 16 × 9 격자로 약 수천 회 연산). 최적 사각형 R*를 픽셀 좌표로 변환해 모든 I‑frame에 동일하게 적용함으로써, 모델은 움직임이 집중된 영역만을 입력받게 된다.

이 파이프라인은 전혀 학습이 필요 없으며, 백본 모델(ResNet‑50, MobileNet‑V3, EfficientNet‑B1, Swin‑B 등)과 무관하게 “플러그‑앤‑플레이” 방식으로 삽입할 수 있다. 논문에서는 두 가지 사용 시나리오를 제시한다. ① Attention Setting: 크롭 후 원본 해상도(224 px)로 재스케일링해 연산량은 그대로 유지하면서 배경 잡음을 제거해 정확도를 향상시킨다. ② Efficiency Setting: 크롭 후 작은 해상도(192 px)로 입력해 FLOPs를 20~30% 절감하면서도 정확도 손실을 최소화하거나 오히려 상승한다.

실험 결과는 UCF101 데이터셋을 기준으로, ResNet‑50 기준 +3.5% 정확도 향상(동일 FLOPs) 혹은 +2.4% 정확도와 26.5% FLOPs 감소를 달성했다. CoViAR와 같은 압축‑도메인 모델에도 적용했을 때는 정확도가 89.2%까지 상승하고, FLOPs는 11.6→8.5 GFLOPs(≈27% 절감)로 개선되었다. Ablation study에서는 MD, MCS, MGS 각각이 성능에 기여함을 확인했으며, 전체 파이프라인의 전처리 비용은 0.021 MOps에 불과해 모델 추론 비용(수천 MOps) 대비 무시할 수준이다. 또한 기존 고정 비율 중앙·랜덤 크롭과 비교했을 때, MoCrop은 90%~50% 크롭 비율 전 영역에서 일관되게 우수한 정확도를 기록했다.

핵심 인사이트는 “동작 정보는 이미 압축 비디오에 존재한다”는 점과, 이를 간단한 통계·샘플링·그리드 탐색으로 활용하면 복잡한 학습 기반 어텐션 모듈 없이도 공간적 효율성을 크게 높일 수 있다는 것이다. 특히 실시간 스트리밍 환경이나 제한된 연산 자원을 가진 엣지 디바이스에 적용하기에 적합하며, 다양한 백본과 손쉽게 결합할 수 있다는 점이 큰 장점이다.