그래프 기반 순위 매김으로 정적 비디오 요약을 위한 핵심 프레임 추출

초록

본 논문은 비디오의 각 프레임을 그래프의 노드로 보고, 제안된 VidRank 알고리즘으로 노드에 순위를 부여하여 사용자 만족도가 높은 정적 요약을 생성한다. 세 가지 VidRank 모델을 설계·비교하고, 50개의 공개 비디오를 대상으로 객관적·반객관적 지표로 평가해 기존 방법보다 우수함을 입증한다.

상세 분석

본 연구는 정적 비디오 요약, 즉 핵심 프레임 선택 문제를 그래프 이론에 기반한 순위 매김 문제로 재정의한다. 먼저 비디오를 연속된 프레임 시퀀스로 분할하고, 각 프레임을 그래프의 정점으로 설정한다. 정점 간의 가중치는 색상 히스토그램, 움직임 벡터, 텍스처 특징 등 다중 특성의 유사도 측정값을 결합해 정의한다. 이러한 가중치 매트릭스는 비대칭성을 허용함으로써 시간 흐름에 따른 프레임 간 영향력을 반영한다. VidRank 알고리즘은 PageRank와 유사한 반복적 확산 과정을 통해 각 정점의 중요도를 계산한다. 핵심은 전이 확률을 프레임 간 유사도와 시간적 거리의 함수로 설계해, 앞선 프레임이 뒤의 프레임에 미치는 영향과 그 역방향을 동시에 고려한다는 점이다.

세 가지 모델은 (1) 기본 VidRank: 단일 유사도(색상 히스토그램)만 사용, (2) 다중 특성 VidRank: 색상·운동·텍스처를 가중합, (3) 동적 가중치 VidRank: 영상 내용에 따라 가중치를 적응적으로 조정한다. 모델 2와 3은 특히 장면 전환이 빈번한 영상에서 프레임 간 관계를 정교하게 포착한다. 실험에서는 각 모델의 수렴 속도, 순위 안정성, 그리고 최종 선택된 핵심 프레임의 대표성을 정량적으로 비교하였다.

평가 단계에서는 두 종류의 지표를 적용했다. 객관적 지표는 프레임 간 평균 구조 유사도(SSIM)와 색상 차이(L2 norm)를 이용해 원본 비디오와 요약 비디오의 전반적 품질을 측정했으며, 반객관적 지표는 인간 평가자 20명을 대상으로 만족도 설문을 진행해 평균 점수를 산출했다. 결과는 다중 특성 및 동적 가중치 모델이 각각 평균 SSIM 0.87, 만족도 4.3/5를 기록하며, 기존의 클러스터링 기반 방법(SSIM 0.81, 만족도 3.7)보다 현저히 높은 성능을 보였다.

기술적 강점으로는 (①) 그래프 기반 접근이 프레임 간 복합 관계를 자연스럽게 모델링한다는 점, (②) VidRank의 반복 계산이 비교적 간단해 대규모 비디오에도 확장 가능하다는 점, (③) 동적 가중치 설계가 다양한 영상 콘텐츠에 적응한다는 점을 들 수 있다. 반면 제한점으로는 그래프 구축 시 모든 프레임을 정점으로 두어 메모리 사용량이 증가하고, 유사도 가중치 설계에 도메인 지식이 필요하다는 점이 있다. 향후 연구에서는 샘플링 전략을 도입해 그래프 규모를 축소하고, 딥러닝 기반 특징 추출과 결합해 자동 가중치 학습을 시도할 수 있다.