세밀한 성격 요소가 이끄는 오디오비주얼 인격 인식 혁신

초록

본 연구는 Big‑Five 성격 모델의 계층적 하위 수준인 파셋과 아이템(뉴앙스)을 활용해, UDIVA v0.5 데이터의 얼굴‑대화 영상에서 인격을 예측하는 변환기 기반 모델을 구축하였다. 교차‑모달·교차‑주체 어텐션을 적용한 뒤, 파셋·뉴앙스 수준의 레이블로 학습한 결과, 뉴앙스 모델이 평균 MSE를 최대 74% 감소시키는 등 가장 높은 예측 정확도를 보였다.

상세 분석

이 논문은 전통적인 특성(트레이트) 수준의 자기보고 점수를 그대로 학습 목표로 삼는 기존 연구들의 한계를 짚고, 보다 세분화된 파셋과 개별 설문 항목(뉴앙스) 수준의 라벨을 활용함으로써 행동 데이터와 성격 점수 사이의 미세한 매핑을 가능하게 했다. 데이터는 134명의 참여자를 145개의 2인 대화 세션으로 구성한 UDIVA v0.5이며, 각 세션은 자유 대화와 세 가지 구조화된 게임(고스트, 레고, 애니멀)으로 나뉜다. 시각적 특징은 OpenFace 2.0을 통해 추출한 35개의 얼굴 행동 단위, 시선 벡터, 머리 자세를 포함하고, 음성 신호는 동일하게 스펙트럼 변환을 거쳐 80차원 고정 길이 맵으로 정규화한다. 이후 MulT 기반 멀티모달 트랜스포머에 교차‑모달 어텐션과 교차‑주체 어텐션을 삽입해 각 참여자의 행동을 상호 보완적으로 학습한다. 학습은 10‑폴드 피험자 독립 검증을 통해 수행했으며, MSE, MAE, PCC, R² 등 네 가지 지표를 보고한다. 결과는 뉴앙스 모델이 트레이트 모델 대비 MSE를 평균 0.1741→0.0492(≈71% 감소)로, 파셋 모델 대비도 0.1185→0.0492(≈58% 감소)로 크게 우수함을 보여준다. 특히 부정적 정서성(Negative Emotionality) 같은 어려운 특성도 뉴앙스 모델에서 MSE 0.0256까지 낮아, 세부 항목이 행동 신호와 강하게 연관됨을 증명한다. 또한 작업 간 성능 차이가 미미해, 제안된 스펙트럼 기반 표현이 다양한 상황에서도 일관된 특성을 포착함을 확인한다. 한계점으로는 뉴앙스 레벨 라벨이 항목 수가 많아 학습 데이터가 희소해질 위험과, 세션 간 평균화가 세부 행동 신호를 희석시킬 수 있다는 점을 언급한다. 향후 연구에서는 세션별 가중치 부여, 멀티태스크 학습, 그리고 텍스트 기반 행동 신호와의 융합을 통해 모델의 일반화 능력을 더욱 강화할 여지가 있다.