파트 가이던스로 표현력 있는 텍스트‑모션 합성

초록

ParTY는 텍스트‑투‑모션 생성에서 몸통 전체의 일관성을 유지하면서도 팔·다리 등 개별 부위의 세밀한 동작을 정확히 반영하도록 설계된 프레임워크이다. 파트‑가이드 네트워크와 파트‑인식 텍스트 그라운딩, 그리고 홀리스틱‑파트 퓨전을 통해 부위별 의미 정렬과 전신 조화를 동시에 달성한다. 새로운 파트‑레벨 및 코히어런스 평가 지표에서도 기존 방법들을 크게 앞선다.

상세 분석

ParTY는 텍스트‑투‑모션 분야에서 “전체‑일관성 vs. 부위‑표현성”이라는 근본적인 트레이드오프를 해소하려는 시도로, 세 가지 핵심 모듈을 제안한다. 첫째, Part‑Guided Network는 기존 파트‑와이즈 접근이 부품별로 독립적으로 생성된 뒤 단순히 합치는 방식과 달리, 먼저 부위별 모션 토큰을 몇 프레임 동안 생성하고 이를 Part Guidance로 활용해 전신 트랜스포머에 조건으로 제공한다. 이렇게 하면 부위별 세부 동작이 미래 시점까지 예측에 반영되어, 전신 모션이 부위 간의 물리적·시간적 일관성을 유지한다.

둘째, **Part‑aware Text Grounding (PTG)**은 하나의 문장 임베딩을 K개의 MLP를 통해 다채로운 파트‑전용 임베딩으로 변환한다. 변환 과정에서 대비 학습(constrastive learning)과 LLM‑생성 파트 설명을 이용한 보조 L1 손실을 결합해, 각 파트가 텍스트 내에서 담당하는 의미를 정확히 포착한다. 이는 기존 방법이 전체 문맥을 그대로 사용해 부위별 미세 의미를 놓치는 문제를 근본적으로 개선한다.

셋째, **Holistic‑Part Fusion (HPF)**은 전신 토큰과 부위 토큰을 하나의 시퀀스로 연결한 뒤 자기‑주의와 교차‑주의를 순차적으로 적용한다. 이를 통해 전신 토큰이 부위 토큰으로부터 직접적인 피드백을 받으며, 동시에 부위 토큰도 전신 컨텍스트를 공유한다. 학습 단계에서는 전신 트랜스포머와 파트 트랜스포머 각각에 교차 엔트로피 손실을 부여해, 두 흐름이 상호 보완적으로 최적화된다.

기술적 관점에서 눈에 띄는 점은 Temporal‑aware VQ‑VAE이다. 기존 VQ‑VAE가 고정 윈도우 크기로 인한 시간 정보 손실을 겪는 반면, 로컬 템포럴 강화(LTE)와 글로벌 템포럴 강화(GTE)를 결합해 프레임‑레벨 특징을 가중합하고 그래프 컨볼루션으로 장기 의존성을 보존한다. 결과적으로 더 긴 시퀀스를 압축하면서도 중요한 동작 흐름을 유지한다.

평가 측면에서는 기존의 전신‑레벨 메트릭 외에 Part‑level Precision/Recall과 Spatial‑Temporal Coherence 지표를 새롭게 정의해, 부위별 의미 정렬과 전체 동작의 일관성을 정량화한다. 실험 결과, ParTY는 HumanML3D·KIT‑ML 등 표준 데이터셋에서 FID, R‑Precision, Diversity 등 전통적인 지표는 물론, 제안된 파트‑레벨 및 코히어런스 지표에서도 현저히 우수한 성능을 보인다.

한계점으로는 파트‑가이던스가 일정 프레임 수(T)로 고정돼 있어, 매우 긴 동작이나 복합적인 상호작용을 다룰 때 가이드 길이 선택이 민감할 수 있다. 또한 LLM‑생성 파트 텍스트가 훈련 단계에만 사용되므로, 실제 추론 시 텍스트가 복잡하거나 다중 동작을 포함하면 파트‑정렬이 다소 약화될 가능성이 있다. 향후 연구에서는 가변‑길이 가이드와 멀티‑모달(예: 비디오‑텍스트) 정렬을 확장하는 방향이 기대된다.