시각·골격 통합 인간 동작 인식·생성을 위한 슈퍼맨 프레임워크

초록

본 논문은 영상과 3D 스켈레톤을 동시에 다루는 단일 멀티모달 대형 언어 모델(MLLM)을 제안한다. Vision‑Guided Motion Tokenizer(VGMT)를 통해 시각 정보와 골격 정보를 공동으로 양자화하여 교차‑모달 토큰 사전을 구축하고, 이를 기반으로 하나의 MLLM이 3D 포즈 추정, 동작 예측, 동작 보간(인‑비트윈) 등 세 가지 핵심 인간 동작 작업을 동시에 수행한다. Human3.6M 등 표준 벤치마크에서 기존 전용 모델들을 능가하거나 동등한 성능을 보이며, 시각‑골격 연계가 가능한 통합 프레임워크의 효율성을 입증한다.

상세 분석

Superman 논문은 인간 동작 분석 분야의 ‘읽기‑쓰기’ 단절을 근본적으로 해소하려는 시도로 눈에 띈다. 기존 연구는 크게 두 축으로 나뉘는데, 하나는 비디오를 입력받아 텍스트 혹은 고차원 특징을 출력하는 인식‑전용 MLLM(예: MotionLLM, LLaVA‑Pose)이며, 다른 하나는 텍스트나 스켈레톤 시퀀스를 입력받아 동작을 생성하는 생성‑전용 모델(예: MotionGPT, PoseGPT)이다. 이 두 축은 입력·출력 모달리티가 서로 맞물리지 않아, 실제 응용에서 동일 모델이 인식·생성을 동시에 수행하기 어렵다. 또한 대부분의 토크나이저는 순수 스켈레톤 데이터만으로 코드북을 학습해 시각적 근거가 결여된 ‘추상적’ 토큰을 만든다. 이러한 한계는 특히 복잡한 영상 환경에서 동작을 정확히 재현하거나, 시각적 힌트를 활용한 예측·보간에 제약을 가한다.

Superman은 두 가지 핵심 혁신을 제시한다. 첫째, Vision‑Guided Motion Tokenizer(VGMT)는 VQ‑VAE 기반의 하이브리드 코드북을 도입한다. 스켈레톤 인코더는 관절 좌표의 시공간적 패턴을, 비주얼 인코더는 HRNet 등으로 추출한 프레임‑레벨 특징을 각각 학습한다. 특히 Visual‑Skeleton Attention(VSA) 모듈은 2D 관절 위치를 기준으로 주변 특징을 어그리게이트해 occlusion에 강인한 시각 토큰을 만든다. 두 스트림의 특징을 시간‑윈도우 단위로 다운샘플링한 뒤, 시각·기하학 프로토타입을 쌍으로 갖는 하이브리드 코드북에 양쪽 거리(ℓ2)를 동시에 최소화하는 방식으로 토큰을 할당한다. 이 과정은 “시각‑골격 동시 양자화”라 할 수 있으며, 토큰 자체가 영상 증거와 3D 구조를 동시에 내포한다는 점에서 기존 토크나이저와 근본적으로 다르다.

둘째, 이렇게 구축된 토큰 시퀀스를 입력으로 하는 단일 디코더‑전용 MLLM을 학습한다. 모델은 텍스트 프롬프트, 비디오 프레임, 혹은 스켈레톤 시퀀스 중 하나 이상을 조건으로 받아, 토큰을 자동 회귀적으로 생성한다. 3D 포즈 추정은 비디오 → 토큰 변환 → 디코더 → 연속 3D 관절 좌표 복원 흐름으로 수행되고, 동작 예측은 기존 토큰 시퀀스 뒤에 미래 토큰을 이어 붙이는 방식, 인‑비트윈은 두 키프레임 사이에 중간 토큰을 삽입하는 방식으로 구현된다. 이 통합 설계는 파라미터 공유와 지식 전이를 자연스럽게 가능하게 하며, 별도 파인튜닝 없이도 세 작업을 동시에 다룰 수 있다.

실험에서는 Human3.6M에서 3D 포즈 추정 시 MPJPE 기준 기존 멀티태스크 비전 모델(예: HiC) 대비 11.97% 개선, LLaVA‑Pose 대비 10.91% 개선을 기록한다. 동작 예측·인‑비트윈에서도 경쟁 모델들을 능가하거나 비슷한 수준을 유지한다. 특히 VGMT 없이 순수 스켈레톤 토크나이저만 사용했을 때 성능이 급격히 떨어지는 것을 확인해, 시각‑기반 토큰화가 실제 성능 향상에 크게 기여함을 입증한다. 또한 Human3.6M만으로 학습했음에도 3DPW와 같은 도메인‑이동 데이터에서 좋은 일반화 능력을 보이며, 코드북이 시각적 다양성을 포괄하고 있음을 시사한다.

한계점으로는 현재 토큰화 단계가 프레임‑레벨 2D 관절 위치에 크게 의존한다는 점이다. 관절 검출이 부정확하거나 카메라 뷰가 크게 변할 경우 VSA가 충분히 보정하지 못할 가능성이 있다. 또한 하이브리드 코드북의 크기(K)와 윈도우 길이(T) 선택이 성능·효율성 트레이드오프에 민감하며, 대규모 실시간 응용에서는 양자화·디코딩 비용이 병목이 될 수 있다. 마지막으로, 텍스트 프롬프트와의 멀티모달 정합성을 강화하기 위한 추가적인 어텐션 메커니즘이나, 복합 행동(예: 상호작용) 시나리오에 대한 평가가 부족하다. 향후 연구에서는 관절 검출 없이 순수 RGB 기반 VSA, 동적 코드북 업데이트, 그리고 인간‑인간·인‑물체 상호작용을 포함한 복합 동작 생성으로 확장할 여지가 크다.