동작 생성의 혁신, 생성과 평가의 선순환을 이루는 IRG MotionLLM

초록

본 연구는 텍스트로부터 인간 동작을 생성하는 기존 모델의 한계, 즉 동작 이해와 생성을 분리하여 학습하는 문제를 해결합니다. 동작 평가와 개선 작업을 ‘가교’로 활용해 이해와 생성 사이의 양방향 지식 흐름을 가능하게 하는 새로운 패러다임 ‘IRMoGen’을 제안합니다. 이를 구현한 ‘IRG-MotionLLM’은 생성, 평가, 개선을 자유자재로 반복하며 최종 동작의 품질을 지속적으로 향상시키는 최초의 모델입니다. 3단계 훈련 방식과 자동화된 데이터 엔진을 통해 이 능력을 구축했으며, 표준 벤치마크에서 우수한 성능을 입증했습니다.

상세 분석

본 논문이 제안하는 IRG-MotionLLM의 핵심 혁신은 ‘동작 평가(Assessment)‘와 ‘동작 개선(Refinement)‘이라는 두 가지 중간 과제를 통해 동작 이해(Understanding)와 생성(Generation)이라는 본래 분리되어 있던 기능을 하나의 선순환 루프로 통합했다는 점입니다. 기존 통합 모델(UniMoLM)이 여러 작업을 할 수 있지만 각 작업이 독립적으로 수행되는 데 그쳤다면, IRG-MotionLLM은 생성된 동작을 스스로 평가하고, 평가 결과를 바탕으로 개선 지시를 생성하며, 그 지시에 따라 동작을 다시 생성하는 ‘텍스트-동작 인터리브드 리즈닝’을 가능하게 합니다.

이를 구현하기 위한 기술적 세부사항은 다음과 같습니다.

1. 3단계 점진적 훈련 전략: 모델의 IRMoGen 능력을 체계적으로 구축합니다.

   • 1단계(초기화): 8개의 원자적 과제(기본 텍스트-동작 변환 과제 4개, 평가 및 개선 관련 ‘개선 과제’ 4개)에 대한 미세 조정을 수행합니다. 이 단계만으로도 모델은 암묵적으로 평가와 개선 능력을 습득합니다.
   • 2단계(CoT 학습): 목표 분석 → 동작 생성 → 정렬 평가 → 개선 지시 생성의 다단계 사고 연쇄(Chain-of-Thought) 템플릿을 사용해 명시적으로 훈련시켜, 모델이 자동으로 다음 단계를 계획하며 인터리브드 리즈닝을 수행하도록 합니다.
   • 3단계(강화 학습): GRPO(Group Relative Policy Optimization) 방식을 도입하고, 동작 품질과 텍스트 정렬도를 평가하는 보상 함수를 설계하여 모델이 자유롭게 다중 라운드의 리즈닝을 탐색하며 최종 생성물을 최적화하도록 유도합니다.

2. 자동화된 데이터 엔진: 인터리브드 리즈닝을 학습시키기 위한 대규모 데이터가 없던 문제를 해결합니다. 기존 텍스트-동작 데이터셋(HumanML3D, KIT-ML)을 활용하여, 사전 학습된 동작 인코더와 LLM을 결합해 각 정답 쌍에 대해 다양한 정렬 수준의 ‘부정적 샘플’과 그에 대한 평가/개선 지시문을 자동으로 생성합니다. 이는 수동 주석의 부담 없이 풍부한 훈련 데이터를 확보하는 핵심 방법입니다.

실험 결과에서 주목할 만한 통찰은 다음과 같습니다.

• 평가 및 개선 과제의 도입 자체가 텍스트-동작 정렬도를 크게 향상시켰습니다(1단계 결과).
• 모델은 훈련 단계가 진행될수록 더 많은 라운드의 평가-개선을 수행하며, 이는 RL 튜닝 후 생성된 응답의 길이가 늘어나는 현상과 연결되어, 복잡한 문제 해결에서의 ‘과정의 중요성’을 동작 생성 분야에서도 확인시켜 줍니다.
• IRG-MotionLLM은 기본 모델을 크게 능가하며, HumanML3D와 KIT-ML 데이터셋, 그리고 다양한 평가자(MotionBERT, T2M-GPT)를 통한 교차 검증에서도 일관되게 우수한 성능을 보여 방법론의 강건성을 입증했습니다.

이 연구는 동작 생성이 단순한 일방향 변환이 아닌, 생성-비판-수정의 반복적 사고 과정을 통해 진화할 수 있음을 보여주며, 멀티모달 생성 AI의 ‘자기 반성(Self-Reflection)’ 능력 확장에 중요한 기여를 합니다.