이미지와 텍스트의 융합: 비디오 속 감정을 읽고 요약하는 AI 기술

초록

본 연구는 사용자 생성 비디오의 감정을 분석하는 새로운 AI 프레임워크를 제안합니다. 감정 이미지 데이터셋과 대규모 텍스트 코퍼스에서 얻은 이질적 지식을 전이하여, 기존에 보지 못한 감정을 인식하는 제로샷 감정 인식, 각 프레임의 감정 기여도를 분석하는 감정 귀속, 감정을 중심으로 비디오를 요약하는 감정 중심 요약이라는 세 가지 연관 작업을 동시에 해결합니다.

상세 분석

본 논문의 핵심 기술적 기여는 크게 두 가지로 요약됩니다. 첫째, ‘이미지 전이 인코딩(Image Transfer Encoding, ITE)’ 알고리즘입니다. 이 방법은 대규모 감정 이미지 데이터셋(예: SentiBank)을 활용하여 CNN으로 추출한 비디오 프레임별 특징을 클러스터링합니다. 이를 통해 생성된 ‘감정 중심 사전’은 비디오의 프레임 시퀀스를 하나의 감정 민감한 비디오 수준 표현으로 집계하는 데 사용됩니다. 이는 감정 표현이 희소한 비디오에서 핵심 프레임의 정보를 효과적으로 증폭시키는 역할을 하며, 기존의 단순 평균 풀링보다 우수한 성능을 보입니다.

둘째, 제로샷 감정 인식을 위한 시맨틱 공간 매핑 기법입니다. Word2Vec 등을 통해 대규모 텍스트 코퍼스에서 구축한 단어 벡터 공간은 ‘기쁨’ + ‘신뢰’ = ‘사랑’과 같은 감정 간의 의미론적 관계를 포착합니다. 연구팀은 ITE를 통해 얻은 비디오 표현을 이 시맨틱 공간에 매핑하는 회귀 모델을 학습시킵니다. 이를 통해 훈련 데이터에 존재하지 않은 새로운 감정 클래스(예: 향수, 설렘)에 대한 인식이 가능해집니다. 이는 기존의 기본 감정 범주를 넘어선 풍부한 감정 경험을 계산적으로 모델링하려는 심리학적 통찰을 구현한 점에서 의미가 큽니다.

감정 귀속과 요약 작업은 ITE에서 도출된 프레임별 ‘기여도 점수’를 기반으로 합니다. 감정 귀속은 이 점수를 통해 비디오의 전체 감정에 기여하는 핵심 프레임이나 클립을 식별합니다. 감정 중심 요약은 이 기여도와 함께 정보량(예: 시각적 다양성)과 요약 길이를 균형 있게 고려한 최적화 문제를 풀어 최종 요약 클립을 선택합니다. 실험에서는 새로 구축한 두 가지 비디오 감정 데이터셋(VideoStory-P14, YF-E6)을 포함한 다양한 데이터에서 프레임워크의 우수성을 입증하였습니다.