감정까지 조종하는 3D 아바타, EmoDiffTalk

초록

본 연구는 3D Gaussian Splatting 기반의 사실적인 3D 토킹 헤드 생성 기술에서 부족했던 정밀하고 다양한 감정 표현 편집 기능을 해결한 ‘EmoDiffTalk’을 제안합니다. 핵심은 음성과 텍스트 입력을 얼굴 근육 움직임 단위(Action Unit, AU) 코드로 변환한 후, 이를 조건으로 하는 새로운 감정 인식 가우시안 디퓨전 프로세스를 도입한 것입니다. 이를 통해 기존 방법 대비 우수한 감정 표현의 정교함, 입모양-음성 동기화 정확도, 그리고 텍스트 기반의 직관적이고 광범위한 감정 편집 제어력을 입증했습니다.

상세 분석

EmoDiffTalk의 기술적 핵심은 기존 3D 토킹 헤드 생성의 블랙박스 식 접근을 탈피해, 해부학적으로 의미 있는 제어 신호인 ‘액션 유닛(AU)‘을 명시적인 중간 표현으로 활용한 점에 있습니다. 이는 감정과 표정 사이의 모호한 매핑 문제를 해결하는 원칙적인 방법론을 제시합니다.

주요 기술적 구성 요소는 다음과 같습니다:

1. AU-프롬프트 가우시안 디퓨전: 음성 특징을 AU 코드 시퀀스로 인코딩한 후, 이 AU 코드를 조건(프롬프트)으로 하여 디퓨전 네트워크가 3D 가우시안 프리미티브의 동적 위치 변화(얼굴 움직임)를 예측하도록 합니다. 이는 단순한 스타일 정보가 아닌, 구체적인 얼굴 근육 활성화 정보로 생성 과정을 안내함으로써 정밀한 표정 제어의 기반을 마련합니다.
2. 동적 외관 디코더: 디퓨전으로 예측된 위치 변화에 기반하여, 각 가우시안의 회전(RotNet)과 불투명도(OPCNet) 같은 세부 속성을 별도의 경량 네트워크로 디코딩합니다. 특히 OPCNet은 AU 코드 변화와 연관된 불투명도 패턴을 학습하는 ‘Feature Line’을 도입해 표정에 따른 미세한 외관 변화(예: 주름, 그림자)를 자연스럽게 구현합니다.
3. 텍스트-투-AU 감정 컨트롤러: 사용자의 텍스트 명령(예: “미소 짓는”)을 특정 AU들의 활성화/비활성화 이진 벡터로 매핑하는 컨트롤러입니다. 이후 원본 음성에서 추출된 AU 코드에 대해, 활성화된 AU는 증폭하고 비활성화된 AU는 억제하는 간단한 변환을 적용하여 ‘감정적 AU 코드’를 생성합니다. 이 변환된 코드가 디퓨전 과정의 조건으로 입력되며, 원본 발화의 정확한 립싱크는 유지한 채 목표 감정만을 정확히 부여할 수 있습니다.

이 구조의 강점은 해석 가능성과 정밀 제어에 있습니다. 사용자는 어떤 AU가 조정되는지 확인할 수 있으며(그림1 참조), 텍스트를 통해 특정 감정을 연속적이고 다중 모달로 편집할 수 있습니다. 실험 결과, PSNR, CPBD(선명도), LMD(입술 랜드마크 정확도) 등 다양한 정량 지표와 사용자 조사에서 기존 최신 방법들을 크게 앞선 성능을 보여, 제안 방법론의 유효성을 입증했습니다.