VR 헤드셋 블렌드쉐이프 기반 실시간 3D 가우시안 아바타 표정 제어 프레임워크

초록

본 논문은 상용 VR 헤드셋이 제공하는 블렌드쉐이프 데이터를 활용해, 얼굴이 가려진 상황에서도 실시간으로 포토리얼리스틱 3D Gaussian Splatting(3DGS) 아바타의 표정을 정확히 재현하는 OFERA 시스템을 제안한다. 핵심은 (1) 블렌드쉐이프 분포 정렬(BDA)로 기기별 편차를 보정하고, (2) MLP 기반 표현 파라미터 매퍼(EPM)로 정렬된 블렌드쉐이프를 FLAME 표현 파라미터 공간에 매핑하며, (3) 매퍼 통합 아바타(MiA)로 학습 단계에서 매핑 일관성을 확보하는 것이다. 정량적 실험과 사용자 연구를 통해 기존 방법 대비 오류 감소와 높은 표정 충실도를 입증한다.

상세 분석

OFERA는 현재 VR 커뮤니케이션에서 가장 큰 난제 중 하나인 ‘헤드셋에 의한 얼굴 가림’ 문제를 근본적으로 해결한다는 점에서 의미가 크다. 기존 방법은 추가 센서(EMG, EOG 등)나 헤드셋 내 카메라를 이용해 얼굴 영상을 직접 처리했지만, 무게·불편함·프라이버시·데이터 접근 제한이라는 단점을 안고 있었다. OFERA는 이러한 물리적·법적 제약을 회피하고, 상용 헤드셋이 이미 제공하는 ARKit‑기반 블렌드쉐이프 파라미터를 입력으로 삼는다. 이 파라미터는 내부 비전 파이프라인에서 추출된 FACs(Facial Action Coding System) 값으로, 원시 영상이 노출되지 않으면서도 근본적인 근육 움직임을 포착한다는 장점이 있다.

하지만 헤드셋마다 블렌드쉐이프 스케일링 방식이 다르고, 일부는 단순 가중치 매핑만을 제공한다. 따라서 원시 블렌드쉐이프(BSVR)와 학습에 사용되는 Mediapipe 기반 표준값 사이에 큰 분포 차이가 존재한다. 이를 해결하기 위해 OFERA는 선형 회귀 기반의 Blendshape Distribution Alignment(BDA)를 도입한다. BDA는 다중 헤드셋에서 수집된 블렌드쉐이프와 목표 분포 간의 선형 변환 행렬을 학습해, 입력값을 즉시 정규화한다. 이 과정은 오프라인 단계에서 수행되며, 실시간 시스템에서는 단순 행렬 곱셈만으로 저지연 변환을 보장한다.

정규화된 블렌드쉐이프를 실제 아바타 제어에 활용하기 위해 설계된 것이 Expression Parameter Mapper(EPM)이다. EPM은 34개의 은닉층을 가진 MLP이며, 입력 차원은 BDA 후의 블렌드쉐이프 수(보통 5255), 출력 차원은 FLAME 모델의 표현 파라미터(50차원)이다. 손실 함수는 L2 재구성 오차와 정규화된 표정 파라미터 간의 코사인 유사도 항을 결합해, 수치적 정확도와 시각적 일관성을 동시에 최적화한다. 실험 결과, 기존의 선형 매핑이나 PCA 기반 변환에 비해 평균 파라미터 오류가 27 % 감소했으며, 정점 기반 재구성 오류도 유의미하게 낮았다.

마지막으로 Mapper‑Integrated Avatar(MiA) 단계에서는 EPM이 생성한 표현 파라미터를 3DGS 기반 Gaussian Head 모델(FATE) 학습에 직접 삽입한다. 즉, 학습 시에 EPM 출력이 정규화된 라벨로 사용돼, 네트워크가 표현 파라미터와 Gaussian 프리미티브 사이의 매핑을 동시에 학습한다. 이 접근법은 테스트 시에 발생할 수 있는 분포 이동(distribution shift)을 최소화하고, 실시간 렌더링 단계에서 EPM → Gaussian 업데이트가 원활히 이루어지도록 만든다.

성능 평가는 두 축으로 진행되었다. 첫 번째는 정량적 평가로, 3DGS 아바타에 대한 표정 파라미터 재현 오차와 정점 위치 오차를 측정했다. 두 번째는 사용자 연구로, 24명의 피험자가 실제 VR 환경에서 자신의 아바타를 보며 표정 충실도와 존재감(presence)을 평가했다. OFERA를 사용한 경우 평균 존재감 점수가 4.3/5로, 기존 카메라 기반 방법(3.7/5)보다 크게 향상되었으며, 표정 인식 정확도 역시 85 %에서 94 %로 상승했다.

종합하면, OFERA는 (1) 기기 독립적인 블렌드쉐이프 정규화, (2) 학습 기반 고차원 표현 매핑, (3) 매핑 일관성을 보장하는 아바타 학습 파이프라인이라는 세 가지 핵심 기술을 결합해, 실시간 포토리얼리스틱 아바타 표정 제어를 가능하게 한다. 이는 향후 메타버스·원격 협업·교육 등에서 사용자 감정 전달을 고도화하는 기반 기술로 활용될 전망이다.