감정 조건 기반 단일 이미지 말하기 얼굴 생성

초록

본 논문은 음성, 단일 얼굴 이미지, 그리고 범주형 감정 라벨을 입력으로 받아, 음성에 동기화되고 지정된 감정을 표현하는 말하기 얼굴 비디오를 생성하는 엔드‑투‑엔드 GAN 기반 시스템을 제안한다. 감정 구분 손실을 도입해 시각적 감정 표현을 강화하고, 프레임·감정 두 종류의 판별기를 활용해 이미지 품질과 감정 일관성을 동시에 개선한다. 객관·주관 평가에서 기존 최첨단 모델을 능가했으며, 감정이 불일치한 영상에 대한 인간 인지 실험을 통해 시각 정보가 감정 판단에 미치는 영향을 확인하였다.

상세 분석

이 연구는 기존 말하기 얼굴 생성 모델이 음성에 내재된 감정을 추정하거나, 입술 영역만을 대상으로 하는 한계를 극복하고자 한다. 핵심 아이디어는 “감정”을 외부 변수로 명시적으로 입력받아, 음성 신호와 독립적으로 시각적 감정 표현을 제어한다는 점이다. 이를 위해 저자는 5개의 서브 네트워크(음성 인코더, 이미지 인코더, 감정 인코더, 노이즈 인코더, 비디오 디코더)와 두 개의 판별기(프레임 판별기, 감정 판별기)로 구성된 GAN 프레임워크를 설계했다.

음성 인코더는 8 kHz 파형을 1‑D 컨볼루션 5단계와 LSTM을 거쳐 시간‑축 25 FPS에 맞는 임베딩 시퀀스를 만든다. 이미지 인코더는 2‑D 컨볼루션을 U‑Net 스타일 스킵 연결과 함께 사용해 고해상도 특징을 보존한다. 감정 인코더는 원‑핫 라벨을 두 개의 완전 연결층으로 변환해 감정 임베딩을 생성하고, 이를 모든 타임스텝에 복제한다. 노이즈 인코더는 프레임별 표준 정규분포 샘플을 LSTM에 통과시켜 머리 움직임 등 비음성·비감정 요인을 모델링한다.

비디오 디코더는 네 개의 임베딩을 채널 차원에서 결합하고, U‑Net 구조를 통해 점진적으로 해상도를 복원한다. 마지막 레이어는 tanh 활성화를 사용해 픽셀 값을 ‑1~1 범위로 정규화한다.

손실 함수는 세 부분으로 구성된다. 첫째, 기존 연구에서 사용한 Mouth Region Mask (MRM) 재구성 손실과 퍼셉추얼 손실을 유지해 입술·얼굴 전체의 시각적 품질을 보장한다. 둘째, 프레임 판별기는 실제 영상과 생성 영상을 구분함으로써 이미지 디테일과 정체성 일관성을 강화한다. 셋째, 감정 판별기는 생성 영상에 포함된 감정 라벨을 정확히 분류하도록 학습시켜, 감정 표현의 명시적 제어를 가능하게 한다. 감정 구분 손실은 교차 엔트로피 형태이며, 감정 판별기의 출력이 실제 라벨과 일치하도록 역전파한다.

데이터셋은 6가지 기본 감정(분노, 혐오, 공포, 행복, 중립, 슬픔)으로 라벨링된 영상·음성 쌍을 사용했으며, 8 kHz 샘플링 레이트와 25 FPS 비디오를 기준으로 전처리했다. 객관적 평가는 PSNR/SSIM(이미지 품질), LSE(음성‑입술 동기화), 그리고 감정 인식 정확도(감정 판별기)로 수행했으며, 제안 모델이 기존 최첨단(예: Vougioukas et al., 2020)보다 전반적으로 우수한 결과를 보였다.

주관적 평가는 Amazon Mechanical Turk을 통해 진행했으며, 비디오 실재감(realness)과 감정 전달력 두 축에서 피험자들이 제안 모델을 더 선호했다. 특히 감정이 음성·시각 양쪽에 서로 다른 라벨로 매치된 파일을 사용한 파일럿 실험에서, 피험자들은 시각적 감정 단서에 더 큰 가중치를 두어 감정을 판단함을 확인했다. 이는 인간 멀티모달 감정 인식에서 시각 정보가 우선한다는 기존 연구와 일맥상통한다.

기술적 기여는 다음과 같다. (1) 감정 조건을 명시적으로 입력받는 최초의 엔드‑투‑엔드 말하기 얼굴 생성 모델을 제시했다. (2) 감정 구분 손실을 도입해 시각적 감정 표현을 정량적으로 강화하였다. (3) 감정이 불일치한 멀티모달 자극에 대한 인간 인지 실험을 수행해 시각‑청각 감정 통합 메커니즘을 탐구했다. 한계점으로는 감정 라벨이 범주형에 국한되어 연속적인 감정 스펙트럼(예: arousal‑valence) 표현이 어려우며, 현재 6가지 기본 감정에만 최적화돼 있다는 점을 들 수 있다. 향후 연구에서는 연속형 감정 공간을 도입하고, 더 다양한 화자·표정 데이터를 활용해 일반화 능력을 높이는 방향이 기대된다.