노드 중심 분리형 시공간 추론으로 영상 기반 인간 자세 추정 혁신

초록

본 논문은 영상 기반 인간 자세 추정에서 움직임 흐림·가림·복잡한 시공간 관계를 극복하기 위해, 시각·시간·구조 정보를 명시적으로 결합한 노드 중심 프레임워크를 제안한다. 서브픽셀 관절 위치와 프레임 간 속도를 융합한 Visuo‑Temporal Velocity Joint Embedding(VTVJE)와, 관절‑별 히트맵·프레임 특징에 주의를 적용해 이미지 조건부 노드 임베딩을 생성하는 Pose‑Query Encoder(PQE)를 도입한다. 이후, 로컬·글로벌 두 가지 전용 브랜치를 갖는 Dual‑branch Decoupled Spatio‑Temporal Attention Graph(DSTAG)로 시간 전파와 공간 제약을 각각 독립적으로 수행하고, Node‑Space Expert Fusion(NSEF)으로 두 브랜치 출력을 적응적으로 결합해 최종 관절 좌표를 예측한다. 세 가지 공개 비디오 포즈 벤치마크에서 최첨단 성능을 달성하며, 노드 수준의 명시적 추론이 영상 자세 추정에 미치는 효과를 입증한다.

상세 분석

NCSTR은 기존 영상 기반 인간 자세 추정 방법이 주로 히트맵을 전역적으로 처리하거나, 시공간 정보를 암묵적으로 결합하는 데 한계가 있다는 점을 정확히 짚어낸다. 첫 번째 핵심 기여는 VTVJE이다. 여기서는 과거 프레임에서 서브픽셀 수준으로 추정된 관절 좌표와 해당 히트맵 피크 강도, 가시성 정보를 4‑차원 디스크립터로 만든 뒤, 경량 MLP를 통해 D 차원 임베딩으로 변환한다. 현재 프레임에서는 두 이전 프레임 사이의 변위를 이용해 선형 외삽을 수행하고, 이를 기반으로 속도‑가이드된 디스크립터를 만든다. 이렇게 하면 관절의 움직임 방향과 크기를 명시적으로 인코딩하면서도, 이미지 기반 시각 정보를 유지한다.

두 번째 기여인 Pose‑Query Encoder는 각 관절을 쿼리로, 프레임 특징 맵과 히트맵을 키‑값 쌍으로 삼아 멀티‑헤드 어텐션을 수행한다. 여기서 온도 파라미터 τ와 마스크 M을 도입해, 히트맵 피크와 가시성 정보를 어텐션 로그잇에 직접 더함으로써, 잡음이 많은 히트맵이나 가려진 관절에 대한 강인성을 높인다. 특히 현재 프레임에 대해서는 속도‑가이드된 반경 rₜ,ⱼ를 계산하고, 이를 기반으로 로컬 마스크와 글로벌 마스크를 정의한다. 로컬 마스크는 관절 주변의 작은 영역에 집중해 정밀한 정렬을 돕고, 글로벌 마스크는 더 넓은 영역을 포함해 장거리 컨텍스트를 포착한다. 이렇게 얻어진 어텐션 가중치는 V와 곱해져 컨텍스트 벡터 cₜ,ⱼ를 만들고, 최종 노드 임베딩 zₜ,ⱼ는 선형 변환을 거쳐 F 차원으로 압축된다.

DSTAG는 두 개의 독립된 브랜치로 구성된다. Temporal GAT은 각 관절을 시간축에 따라 체인 그래프로 연결해 인접 프레임 간 정보를 교환한다. 이는 인과성을 보장하면서도 짧은 시간 구간의 움직임을 부드럽게 평균화한다. Temporal GAT의 출력은 현재 프레임 표현 f_curr와 과거 프레임 메모리(F eat_past)를 Transformer Encoder에 입력해 요약된 시간 특징을 얻고, 이를 f_curr와 적응형 Fusion(F_fuse)으로 결합한다. 이렇게 얻어진 f_local_temp과 f_global_temp은 각각 로컬·글로벌 공간 GAT에 전달된다. 로컬 공간 GAT는 1‑hop 스켈레톤 인접 행렬을 사용해 해부학적 인접 관절 간에만 메시지를 전달함으로써 미세한 관절 간 관계를 강화한다. 반면 글로벌 공간 GAT는 2‑hop 인접 행렬을 적용해 보다 넓은 구조적 컨텍스트를 포착한다. 두 브랜치의 출력은 Node‑Space Expert Fusion에서 가중치 기반으로 동적으로 결합돼 최종 관절 좌표와 가시성 점수를 예측한다. 마지막으로 GNC‑Decoding 모듈이 노드 예측을 히트맵 형태로 복원하고, 가시성‑가중 손실을 통해 학습한다.

실험에서는 PoseTrack, Sub-JHMDB, 그리고 Human3.6M 등 세 가지 대규모 비디오 포즈 데이터셋에서 기존 SOTA 모델들을 전반적으로 앞선 성능을 기록한다. 특히 빠른 움직임이나 심한 가림 상황에서의 정확도가 크게 향상돼, 노드 수준에서 시각·시간·구조 정보를 명시적으로 결합한 것이 실질적인 이점을 제공함을 입증한다. 또한, 모델이 완전 온라인(인과성 유지) 방식으로 동작함에도 불구하고, 복잡한 장거리 의존성을 효과적으로 학습한다는 점이 주목할 만하다.

전반적으로 NCSTR은 “관절을 노드로, 시공간을 분리된 그래프 흐름으로”라는 설계 철학을 통해, 기존의 전역적 히트맵 기반 접근법이 갖는 구조적 모호성과 시간적 불안정성을 근본적으로 해소한다. 이는 향후 실시간 스포츠 분석, 인간‑로봇 협업, 그리고 복합 행동 인식 등 다양한 응용 분야에서 보다 정밀하고 일관된 자세 추정이 가능하도록 하는 중요한 전환점이 될 것으로 기대된다.