실시간 대화용 인터랙티브 헤드 아바타 생성 기술

초록

**
본 논문은 사용자의 얼굴 움직임과 음성을 실시간(≈500 ms)으로 입력 받아, 동일한 표정과 입모양을 자연스럽게 재현하는 인터랙티브 헤드 아바타를 생성하는 시스템 ‘Avatar Forcing’을 제안한다. 사용자와 아바타 간의 감정·표정 동기화를 통해 보다 몰입감 있는 대화를 구현한다.

**

상세 분석

**
Avatar Forcing은 크게 네 가지 모듈로 구성된다. 첫 번째는 멀티모달 입력 인코더로, RGB 영상에서 3D 얼굴 메쉬와 2D 랜드마크를 추출하고, 동시에 마이크 입력을 고품질 음성 특징(멜 스펙트로그램, 포논 등)으로 변환한다. 여기서는 최신 3DMM(3‑Dimensional Morphable Model) 기반의 얼굴 복원 네트워크와, Whisper‑like 음성 인코더를 결합해 실시간성(프레임당 15 ms 이하)을 확보한다.

두 번째는 표정·입모양 강제(FORCING) 모듈이다. 기존 음성‑구동 얼굴 합성에서는 음성 신호만으로 입술 움직임을 예측하는 경우가 많아 표정과 감정 전달이 제한된다. 저자들은 “포스”라는 개념을 도입해, 사용자의 얼굴 표정(특히 눈썹, 입꼬리, 미소 등)을 직접적인 조건으로 네트워크에 주입한다. 구체적으로, 표정 벡터와 음성 특징을 결합한 다중 입력을 Transformer‑ 기반 시퀀스‑투‑시퀀스 모델에 전달하고, 이를 통해 시간적 일관성을 유지하면서도 감정 표현을 보존한다.

세 번째는 실시간 렌더링 엔진이다. 강화된 조건부 입력을 바탕으로, 저해상도(256×256)에서 고품질(512×512) 아바타 영상을 생성하기 위해 하이브리드 구조를 채택한다. 먼저, 저비용 CNN‑디코더가 기본 프레임을 만들고, 이후에 경량화된 GAN‑ 기반 디테일 강화 모듈이 텍스처와 조명을 보정한다. 이 과정은 GPU에서 30 fps 이상을 달성하도록 최적화되었으며, 전체 파이프라인 지연은 약 500 ms로 보고된다.

마지막으로 아바타 음성 합성 모듈이 있다. 사용자의 음성을 그대로 복제하는 것이 아니라, 사용자의 음성 스타일을 학습한 TTS 모델을 통해 아바타 전용 음성을 생성한다. 이렇게 하면 프라이버시 보호와 동시에 아바티스트의 개성을 부여할 수 있다.

핵심 기여는 (1) 표정과 음성을 동시에 강제하는 다중 조건부 학습 프레임워크, (2) 실시간성을 유지하면서도 고품질 렌더링을 가능하게 하는 하이브리드 CNN‑GAN 구조, (3) 사용자와 아바타 간 감정·표정 동기화를 정량·정성 평가한 사용자 연구 결과이다. 실험에서는 기존 음성‑구동 얼굴 합성 시스템 대비 입술-음성 동기화 오류가 30 % 감소하고, 표정 전달 정확도가 25 % 향상된 것으로 나타났다. 또한, 30명의 피험자를 대상으로 한 주관적 평가에서 “자연스러움” 점수가 평균 4.3/5점(표준편차 0.4)으로 높은 만족도를 보였다.

한계점으로는 현재 시스템이 정면 혹은 약간 측면의 얼굴에 최적화돼 있어, 급격한 회전이나 조명 변화에 취약하다는 점이다. 또한, 500 ms 지연은 여전히 실시간 대화에 완벽히 부합하지 않을 수 있어, 향후 경량화와 하드웨어 가속을 통한 지연 감소가 필요하다.

**