유연한 동작 인베트윈을 위한 확산 모델

초록

본 논문은 키프레임과 텍스트 조건을 동시에 활용해 다양한 인간 동작을 생성하는 확산 기반 인베트윈 모델인 CondMDI를 제안한다. 밀집·희소 키프레임, 부분적 제약 모두를 허용하며, 가이드와 임퓨테이션 기법을 통해 추론 단계에서 유연하게 키프레임을 보정한다. HumanML3D 데이터셋 실험에서 높은 정확도와 다양성을 입증한다.

상세 분석

CondMDI는 기존 인베트윈 방법이 갖는 제약성을 근본적으로 해소한다. 먼저, 확산 모델을 시간 연속적인 동작 시퀀스에 직접 적용함으로써, 복잡한 관절 움직임을 확률적 샘플링 과정에서 자연스럽게 재구성한다. 핵심은 “조건부” 구조인데, 이는 (1) 공간적 키프레임(위치·관절 각도)과 (2) 텍스트 임베딩을 동시에 입력으로 받아, 두 조건을 융합한 잠재 공간을 탐색한다는 점이다. 키프레임은 밀집(매 프레임) 혹은 희소(몇 프레임만) 형태로 제공될 수 있으며, 부분적인 관절만 지정하는 경우에도 모델이 나머지 자유도를 자동으로 보완한다. 이를 위해 키프레임 마스크와 위치 인코딩을 결합한 조건부 토큰을 설계했으며, 이는 확산 과정에서 노이즈 레벨에 따라 동적으로 가중치를 조절한다.

학습 단계에서는 기존의 DDPM(denoising diffusion probabilistic model) 손실에 추가로 “키프레임 재구성 손실”을 도입한다. 이 손실은 샘플링된 동작이 주어진 키프레임과 일치하도록 강제하며, 텍스트 조건에 대한 일관성을 유지하기 위해 CLIP 기반 텍스트-동작 정합 손실도 함께 최적화한다. 결과적으로 모델은 “정밀도”와 “다양성” 사이의 트레이드오프를 최소화한다.

추론 시에는 두 가지 보강 기법을 제시한다. 첫 번째는 “classifier‑free guidance”를 활용한 텍스트·키프레임 가이드 강화로, 가이드 스케일을 조절해 원하는 스타일과 정확도 수준을 선택할 수 있다. 두 번째는 “imputation‑based” 접근법으로, 누락된 키프레임을 사전 학습된 보간 네트워크가 예측한 뒤 확산 과정에 삽입한다. 이 방법은 특히 희소 키프레임 상황에서 샘플 품질을 크게 향상시킨다.

실험 결과는 HumanML3D 데이터셋을 기반으로 한다. 정량적 지표인 FID, Diversity, Multimodal Accuracy에서 기존 RNN·Transformer 기반 인베트윈 모델을 크게 앞선다. 특히, 키프레임이 10% 이하로 희소할 때도 높은 정확도를 유지하며, 텍스트 조건에 대한 반응성도 뛰어나다. 사용자 스터디에서는 생성된 동작이 “자연스러움”과 “키프레임 일치도” 측면에서 높은 평가를 받았다.

이 논문은 확산 모델이 고차원 시계열 데이터, 특히 인간 동작 생성에 강력한 표현력을 가짐을 실증한다. 또한, 조건부 설계와 가이드·임퓨테이션 기법을 결합함으로써, 실시간 애니메이션 파이프라인에서 디자이너가 자유롭게 키프레임을 배치하고 텍스트로 스타일을 지정할 수 있는 새로운 워크플로우를 제시한다. 향후 연구는 더 복잡한 물리 기반 제약, 멀티인물 상호작용, 그리고 실시간 인터랙티브 제어로 확장될 여지가 있다.