세밀한 움직임 이해를 위한 KPM‑Bench: 동작 파싱 기반 비디오 캡셔닝 벤치마크

초록

KPM‑Bench는 포즈 추정과 물리‑기반 운동 계산을 결합한 자동 라벨링 파이프라인으로 생성된 75k 이상의 고밀도 비디오‑캡션·QA·Hallucination 평가 데이터를 제공한다. 또한 MoPE 알고리즘으로 캡션 속 동작 속성을 정밀히 추출하고, 이를 GRPO 후‑학습에 적용해 동작‑중심 비디오 캡셔닝의 환각을 크게 감소시킨다.

상세 분석

본 논문은 두 가지 핵심 문제—세밀한 동작 기술 부족과 동작 환각 현상—를 동시에 해결하려는 시도로 평가된다. 첫 번째로, 저자들은 Screw Theory와 Chasles’ Theorem을 기반으로 인간 움직임을 ‘위치 변환’과 ‘자세 변환’ 두 축으로 분해하고, 시간 영역에서는 관절별 속도·각속도를, 주파수 영역에서는 FFT를 이용해 에너지·고주파수 비율·스펙트럼 표준편차 등을 정량화한다. 이러한 물리적 특성은 COCO‑WholeBody 133관절을 이용해 10개의 관절각을 계산하고, 평균 각속도와 중심질량 속도로 요약된다.

두 번째로, 언어적 파싱을 위해 제안된 PaMoR(Parsing‑based Motion Representation)은 Motion Predicate, Agentive Entity, Patientive Entity 등 8개의 핵심 속성을 계층적(개인‑레벨, 사지‑레벨, 말단‑레벨) 구조로 정의한다. 이는 기존의 단순 키워드 나열 방식보다 풍부한 의미론적 정합성을 제공한다. 자동 라벨링 파이프라인은 RTMPose3D를 이용한 3D 전신 포즈 추정 후, 위의 물리량을 계산하고, 사전 정의된 템플릿에 매핑해 자연어 캡션을 생성한다. 인간이 직접 라벨링한 Motion‑Bench와 비교했을 때, 라벨링 비용은 크게 절감되면서도 75k 영상에 걸쳐 평균 4.2개의 사지‑레벨 동작이 기술되는 높은 밀도를 보인다.

환각 억제 측면에서는 MoPE가 핵심 역할을 한다. MoPE는 캡션 텍스트를 파싱해 Motion Predicate와 그 수식어(Magnitude, Direction 등)를 추출하고, 이를 정량적 ‘동작 일치 점수’와 비교한다. 기존의 CHAIR·BLEU·METEOR 등 객관적 지표와 달리, MoPE 기반 평가는 외부 LLM/VLM에 의존하지 않으며, 실제 물리적 움직임과의 불일치를 직접 측정한다. 이 점수를 보상 함수에 통합한 GRPO(Post‑training)에서는 손실에 ‘동작 일관성 페널티’를 추가해 모델이 환각성 동작을 생성할 확률을 크게 낮춘다. 실험 결과, GRPO+MoPE 적용 모델은 기존 VLM 대비 Hallucination Rate을 38% 감소시키면서, Motion‑BLEU(동작 중심 BLEU) 점수는 12% 상승하였다.

기술적 강점은 (1) 물리‑기반 운동 특성을 정량화해 자동 라벨링의 신뢰성을 확보한 점, (2) PaMoR이라는 구조화된 언어 프레임워크로 동작 의미를 체계화한 점, (3) 외부 모델에 의존하지 않는 환각 평가·감소 메커니즘을 제시한 점이다. 다만 제한점으로는 (가) 현재 파이프라인이 3D 포즈 추정 정확도에 크게 좌우되므로, 복잡한 다중인물·배경 혼합 영상에서는 라벨 품질이 저하될 가능성이 있다. (나) FFT 기반 주파수 분석이 비정형 움직임(예: 자유형 댄스)에서 의미 있는 리듬 정보를 충분히 포착하지 못할 수 있다. (다) MoPE는 사전 정의된 8가지 속성에 국한되므로, 감정·의도 등 비운동적 요소를 포함한 캡션에서는 적용 범위가 제한된다. 향후 연구에서는 멀티‑인물 협동 동작, 비정형 리듬 분석, 그리고 감정·의도와 같은 비운동적 의미를 통합하는 확장된 파싱 스키마가 필요하다.

전반적으로 KPM‑Bench와 MoPE/GRPO 프레임워크는 동작‑중심 비디오 이해 연구에 새로운 표준 데이터를 제공하고, 환각 문제를 실질적으로 완화시키는 실용적 솔루션을 제시한다는 점에서 큰 의의를 가진다.