스테레오 토커 오디오 기반 3D 인간 합성의 새로운 패러다임

초록

Stereo‑Talker는 단일 사진과 음성 입력만으로 3D 입체감 있는 대화 영상을 생성한다. 오디오‑모션 매핑에 대형 언어 모델(LLM) 프라이어를 도입해 의미 기반 제스처를 풍부하게 만들고, 뷰‑가이드와 마스크‑가이드 MoE를 결합한 diffusion 렌더러로 시점 변화와 신체 부위별 디테일을 안정적으로 재현한다. 2,203명의 고해상도 데이터셋도 함께 제공한다.

상세 분석

Stereo‑Talker는 “오디오 → 모션 → 비디오”의 두 단계 파이프라인을 채택한다. 첫 번째 단계에서는 wav2vec 2.0 기반 음성 인코더가 원시 오디오를 고차원 의미 특징으로 변환하고, 이를 별도의 프로젝션 네트워크를 통해 대형 언어 모델(LLM)의 텍스트 잠재 공간에 정렬한다. 정렬된 특징은 LoRA‑튜닝된 LLM 인코더에 입력되어 언어 수준의 의미 정보를 강화한다. 강화된 특징은 diffusion 기반 제스처 생성기에 조건으로 제공되어, VQ‑VAE로 압축된 모션 코드북에 매핑함으로써 다중‑모드(다양한 제스처) 생성이 가능해진다. 이 과정은 기존 연구가 주로 리듬 기반 저차원 특징에 의존해 제스처 다양성이 제한됐던 점을 크게 개선한다.

두 번째 단계에서는 생성된 모션 시퀀스를 기반으로 고해상도 영상 프레임을 합성한다. 핵심은 “프라이어‑가이드 MoE”이다. 뷰‑가이드 MoE는 사전에 정의된 여러 카메라 시점 전문가를 두고, 현재 뷰와 각 전문가 시점 간 거리(예: 각도 차)를 가중치로 사용해 해당 전문가의 특화된 텍스처와 조명 정보를 융합한다. 이를 통해 시점 전환 시에도 인물의 3D 일관성이 유지된다. 마스크‑가이드 MoE는 인체 각 부위(얼굴, 손, 몸통 등)에 대한 세그멘테이션 마스크를 입력으로 받아, 부위별 전문가가 별도로 학습하도록 유도한다. 결과적으로 손가락·입술·눈 깜빡임 등 미세 디테일이 흐려지는 현상을 크게 감소시킨다. 마스크는 별도의 VAE 기반 마스크 예측 네트워크가 모션 정보를 이용해 실시간으로 생성하므로, 추론 단계에서도 정확한 마스크 가이드를 제공한다.

데이터 측면에서 저자들은 2,203명의 다양한 인물과 3D 템플릿 파라미터, 자세·표정 라벨을 포함한 고해상도 오디오‑비주얼 데이터셋(HDA‑V)을 구축하였다. 이는 기존 데이터가 인물 수와 동작 다양성에서 한계가 있었던 문제를 해결하고, 제안 모델의 일반화 능력을 검증하는 데 핵심 역할을 한다.

기술적 강점은 (1) LLM 프라이어를 통한 의미 기반 제스처 강화, (2) 뷰·마스크 가이드 MoE를 통한 시점·부위 별 디테일 보존, (3) VQ‑VAE와 diffusion을 결합한 다중‑모드 모션 생성, (4) 대규모 고품질 데이터셋 제공이다. 한편, LLM 인코더와 diffusion 모델의 연산 비용이 여전히 높으며, 실시간 응용을 위해 경량화가 필요하다는 점이 남는다. 또한, MoE 전문가 수와 마스크 품질에 따라 성능 변동이 크므로, 최적화 전략이 추가 연구 과제로 남는다.