자동 트레일러 생성 딥러닝 프레임워크

초록

본 논문은 대형 언어 모델(LLM)을 중심으로 영상, 텍스트, 음향을 통합한 멀티모달 파이프라인을 제시한다. 영화의 시놉시스를 LLM이 서브플롯으로 분해하고, 핵심 대사와 시각적 장면을 자동으로 매칭한다. 이후 음성 해설과 배경음악을 LLM이 생성·합성하여, 기존 방법보다 시각적 매력과 서사 일관성을 높인 자동 트레일러를 만든다.

상세 분석

이 연구는 트레일러 제작이라는 복합 창작 과정을 완전 자동화하려는 시도에서 크게 두 가지 혁신을 제시한다. 첫째, GPT‑4 기반의 LLM을 전 단계에 배치함으로써 텍스트 이해·생성, 시각‑텍스트 정합성 판단, 음성·음악 스크립트 작성까지 일관된 언어 모델이 담당한다. 기존 영상 요약 연구는 주로 시각적 특징이나 감정 분석에 의존했지만, 본 프레임워크는 시놉시스를 LLM이 ‘시각적 서브플롯’으로 재구성하고, 이를 CLIP‑ViT‑L‑14 임베딩으로 키워드와 프레임을 매칭한다. 이렇게 함으로써 장면 선택이 단순히 시각적 유사도에 머무르지 않고, 서사적 중요도와 감정적 무게를 동시에 고려한다. 둘째, Quote Clip과 Standard Clip을 구분하고, StableWhisper와 Pyannote를 결합해 대사와 영상의 정밀한 시간 정렬을 수행한다. 특히, 오라클 기반의 ‘버퍼 존’ 설정과 샷 경계 검출을 통해 ‘고아 샷’ 문제를 최소화하고, 전환 효과를 자동 적용한다는 점이 실용적이다.
기술적 구현 측면에서는 FFmpeg를 이용한 9초 간격 프레임 추출, Cinemagoer를 통한 IMDB 메타데이터 수집, TextBlob으로 감성 점수 산출, EasyOCR·CRNN으로 텍스트 오버레이 검증 등 다양한 오픈소스 툴을 파이프라인에 통합했다. 또한, 음성 해설 스크립트는 LLM이 영화 요약과 감독·개봉 정보를 조합해 생성하고, 이를 TTS 엔진에 전달해 자연스러운 나레이션을 만든다.
평가에서는 Movie2trailer와 PPBV‑AM 두 최신 방법과 비교했으며, 시각적 매력도와 서사 일관성에서 우수함을 보였다. 그러나 실험에 사용된 영화는 제한적이며, 트레일러 영상 자체를 공개하지 못한 점이 재현성을 저해한다. 또한, GPT‑4 API 의존성으로 인한 비용·지연 문제가 존재하고, LLM이 생성한 텍스트가 문화적·언어적 편향을 가질 가능성도 있다. 전반적으로 멀티모달 통합과 LLM 중심 설계는 의미 있는 진전이지만, 대규모 객관적 평가와 비용 효율성 개선이 향후 과제로 남는다.