개인화된 시네마그래프 생성: 의미 이해와 협업 학습 기반 자동화

초록

본 논문은 객체 인식·시맨틱 세그멘테이션을 활용해 영상에서 의미 있게 움직이는 영역을 자동으로 선택하고, 의미‑일관성을 고려한 MRF 최적화로 시네마그래프를 생성한다. 또한 다수의 후보 시네마그래프 중 사용자 선호를 예측하는 협업 필터링 모델을 학습시켜, 개인 맞춤형 최적 결과를 제시한다.

상세 분석

이 연구는 시네마그래프 제작의 두 핵심 문제—‘어떤 객체를 움직일 것인가’와 ‘그 결과가 시각·심리적으로 얼마나 매력적인가’를 동시에 해결한다. 첫 번째 단계에서는 FCN‑8 기반 시맨틱 세그멘테이션을 모든 프레임에 적용해 60개의 클래스를 32개의 상위 클래스로 통합하고, 픽셀 수·시간적 변동성·연결성 등을 기준으로 상위 K(=4) 객체를 후보로 선정한다. 이렇게 추출된 객체 레이블은 MRF 최적화에 직접 입력되어, 각 픽셀마다 시작 프레임(sₓ)과 루프 길이(pₓ)를 결정한다. 기존 Liao et al.