광고 감정 인식과 컴퓨팅 광고 적용

초록

본 논문은 100개의 광고 영상을 수집·라벨링하여 감정(흥분·쾌감) 데이터셋을 구축하고, CNN 기반 시각·청각 특징을 추출해 기존 저수준 오디오‑비주얼 디스크립터보다 우수한 감정 인식 성능을 보임을 실험적으로 입증한다. 또한, 향상된 감정 예측 모델을 활용해 광고 삽입 시점을 최적화함으로써 온라인 동영상 스트리밍 시 시청자 경험을 개선한다는 사용자 실험 결과를 제시한다.

상세 분석

이 연구는 감정 인식(AR) 분야에서 광고라는 특수 매체에 초점을 맞춘 점이 독창적이다. 먼저 5명의 전문가와 14명의 비전문 annotator가 동일한 100개 광고에 대해 valence(쾌감)와 arousal(흥분)을 5점 척도로 평가했으며, Krippendorff’s α와 Cohen’s κ를 이용해 두 집단 간 높은 일치도를 확인했다(α_val=0.60, κ_val=0.94 등). 이는 데이터셋이 감정 유발 효과가 일관된 ‘컨트롤 스티뮬러스’로 활용될 수 있음을 의미한다.

데이터셋 규모가 작아 직접적인 딥러닝 학습이 어려운 점을 보완하기 위해 저자들은 도메인 적응 전략을 채택했다. 대규모 장면 인식 데이터셋인 Places205(2.5M 이미지)로 사전 학습된 CNN을 LIRIS‑ACCEDE 영화 클립(감정 라벨이 풍부한)으로 미세조정(fine‑tuning)하여 AdAffectNet(AAN)을 구축하였다. 시각 특징은 3초 간격으로 추출한 키프레임, 청각 특징은 10초 구간의 스펙트로그램을 이미지 형태로 변환해 동일한 CNN에 입력하였다. 네 개의 이진 분류기(AAN‑asl‑high, AAN‑asl‑low, AAN‑val‑high, AAN‑val‑low)를 학습시킨 뒤, fc7 레이어의 4096‑차원 벡터를 감정 예측 피처로 사용했다.

실험에서는 기존 대표적인 저수준 오디오‑비주얼 디스크립터(Hanjalic & Xu, 2005)와 AAN 피처를 동일한 SVM/RandomForest 분류기에 적용해 정확도와 F1‑score를 비교했다. 결과는 특히 valence 예측에서 AAN이 12%~18% 정도의 절대적 성능 향상을 보였으며, arousal에서도 유의미한 개선을 기록했다. 다중 과제 학습(multi‑task learning)으로 시각·청각 피처 간 상관관계를 활용했을 때 가장 높은 성능을 달성했다.

마지막으로, 향상된 감정 모델을 기반으로 광고 삽입 전략(CAVVA)을 구현했다. 광고와 본 영상의 감정 매칭을 고려해 삽입 시점을 선택하고, 17명의 피험자를 대상으로 ‘감정 일치형 삽입’과 ‘무작위 삽입’의 주관적 시청 경험을 비교했다. 감정 일치형 삽입 그룹은 몰입도, 만족도, 광고 회피 의도 등에서 통계적으로 유의한 우위를 보였으며, 이는 감정 인식 정확도가 실제 광고 수익 모델에 직접적인 가치를 제공함을 시사한다.

전체적으로 데이터셋 구축, 도메인 적응 기반 CNN 피처 설계, 정량적 성능 검증, 그리고 실사용 시나리오 적용까지 일관된 연구 흐름을 유지했으며, 감정 인식과 컴퓨팅 광고의 융합 가능성을 실증적으로 제시한다.