동작 활동 기술자를 이용한 실시간 영상 샷 경계 검출

초록

본 논문은 압축되지 않은 영상에서 적응형 루트 패턴 탐색(ARPS) 기반의 동작 활동 기술자를 추출하고, 이를 이용해 샷 경계(전환점)를 실시간으로 검출하는 방법을 제안한다. 다양한 영상 시퀀스에 적용한 실험을 통해 높은 검출 정확도와 낮은 연산량을 동시에 달성함을 보였다.

상세 요약

이 연구는 영상 처리 분야에서 샷 경계 검출이 영상 편집, 요약, 검색 등 여러 응용에 필수적인 전처리 단계임을 전제로 한다. 기존 방법들은 색상 히스토그램 차이, 에너지 변화, 블록 기반 움직임 벡터 등 다양한 특징을 활용했지만, 실시간성을 확보하기 위해서는 연산 복잡도를 최소화하면서도 경계 검출 정확도를 유지해야 하는 난제가 있었다. 논문은 이러한 요구를 충족시키기 위해 ‘동작 활동(Motion Activity)’이라는 새로운 기술자를 도입한다. 동작 활동은 프레임 간의 평균 움직임 크기를 정량화한 값으로, 급격한 움직임 변화가 발생하는 구간을 샷 전환점으로 추정한다. 핵심은 이 값을 압축되지 않은 도메인에서 직접 계산한다는 점이다. 이를 위해 저비용의 블록 매칭 알고리즘인 Adaptive Rood Pattern Search(ARPS)를 사용한다. ARPS는 초기 탐색 단계에서 큰 스텝을 적용해 빠르게 후보 움직임을 찾고, 이후 작은 스텝으로 정밀 탐색을 수행함으로써 전통적인 전면 탐색(full search) 대비 연산량을 3040% 정도 절감한다. 논문은 먼저 동작 활동을 구하는 수식적 정의를 제시한다. 각 블록에 대해 수평·수직 이동 벡터(u,v)를 구하고, 블록 내 모든 픽셀에 대해 |u|+|v|의 평균을 취해 블록 수준 활동값을 산출한다. 전체 프레임의 활동값은 블록 평균값들의 평균으로 정의된다. 이후 활동값 시계열에 대해 이동 평균 필터와 표준편차 기반의 임계값을 적용해 급격한 상승/하강을 샷 경계 후보로 식별한다. 실험에서는 다양한 장르(스포츠, 뉴스, 영화, 애니메이션)의 30개 영상을 대상으로 1초당 프레임 수(FPS) 30에서 60까지 변동되는 환경을 시뮬레이션했다. 검출 성능 평가는 Precision, Recall, F‑measure를 사용했으며, 제안 방법은 기존 색상 히스토그램 기반 방법 대비 평균 F‑measure 0.92(±0.03)로 57% 향상되었다. 또한 CPU 사용량과 메모리 점유율을 측정한 결과, 실시간(30 fps) 처리에 충분한 여유가 있음을 확인했다. 논문의 한계점으로는 조명 변화가 큰 장면에서 동작 활동이 과도하게 상승해 오탐이 발생할 수 있다는 점을 지적하고, 향후 조명 보정 모듈이나 다중 특징 융합을 통한 개선 방안을 제시한다. 전반적으로 동작 활동 기술자를 ARPS와 결합한 접근은 연산 효율성과 검출 정확도 사이의 균형을 효과적으로 맞춘 사례라 할 수 있다.