카메라와 인간 자세를 동시에 추정하는 EPOCH 프레임워크

초록

EPOCH는 2D 이미지에서 2D 관절 위치와 카메라 파라미터를 추정하는 RegNet과, 이 정보를 이용해 완전한 퍼스펙티브 모델로 3D 자세를 복원하는 LiftNet으로 구성된 무감독(unsupervised) 시스템이다. 정규화 흐름(Normalizing Flow)을 활용해 인간 형태 제약을 강제하고, 인간-카메라 관계를 명시적으로 모델링함으로써 Human3.6M와 MPI‑INF‑3DHP에서 최첨단 성능을 달성한다.

상세 분석

EPOCH 논문은 기존 3D 인간 자세 추정 연구가 직면한 두 가지 핵심 문제—데이터 부족과 2D‑3D 매핑의 근본적인 불확실성—에 대한 새로운 해결책을 제시한다. 첫 번째로, 저자들은 완전한 퍼스펙티브 카메라 모델(K, R, T)을 명시적으로 추정하고 이를 3D 리프팅 파이프라인에 통합한다. 이는 기존 연구가 주로 사용해 온 약한 퍼스펙티브(weak‑perspective) 혹은 정사영(orthographic) 가정보다 훨씬 현실적인 깊이와 스케일 정보를 제공한다. 두 번째로, RegNet은 캡슐 네트워크 기반의 경량 구조로, 2D 관절 좌표만을 약한 감독(weak supervision)으로 사용해 2D 포즈와 카메라 파라미터를 동시에 예측한다. 여기서 중요한 점은 RegNet이 내부적으로 3D 포즈를 예측하고 이를 추정된 카메라 파라미터로 다시 2D에 투영함으로써 자체적인 2D‑3D 일관성을 학습한다는 것이다. 이는 “camera‑in‑the‑loop” 방식이라 부를 수 있으며, 카메라 추정 오류가 리프팅 단계에 직접 반영되어 전체 시스템이 상호 보정된다.

LiftNet은 완전 무감독 방식으로 설계되었다. 입력으로는 RegNet이 제공한 2D 포즈와 카메라 파라미터가 들어가며, 네트워크는 3D 포즈를 리프팅한 뒤 회전(Rotate)과 투영(Project) 연산을 통해 원본 2D 포즈와 재구성된 2D 포즈 사이의 사이클 일관성을 강제한다. 이 사이클은 정방향(2D→3D→2D)과 역방향(2D←3D←2D) 두 갈래로 구성돼, 각각의 중간 결과에 대해 여러 손실(L₂, 정규화 흐름, 인체학적 제약 등)을 적용한다. 특히 정규화 흐름(Normalizing Flow)은 1×1 컨볼루션 기반 GLOW 구조를 사용해 고차원 2D 관절 좌표 전체를 그대로 입력으로 받아, 차원 축소 없이 인간 형태의 확률 분포를 학습한다. 이는 기존 RealNVP 기반 방식이 필요로 했던 PCA 차원 축소와 비교해 표현 손실을 최소화한다.

인체학적 제약은 두 가지 손실로 구현된다. 첫 번째는 뼈 길이 비율 손실(L_bone)로, 개인 간 뼈 길이 비율이 거의 일정하다는 사실을 활용해 비정상적인 스케일 변형을 억제한다. 두 번째는 관절 굴곡 제한 손실(L_limbs)으로, 각 사지의 근위·원위 벡터를 몸통 평면의 법선과 내적하여 비현실적인 뒤틀림을 정량화한다. 이러한 제약은 무감독 학습 상황에서도 3D 포즈가 인체학적으로 타당하도록 유도한다.

실험 결과는 두 가지 측면에서 의미가 있다. 첫째, Human3.6M와 MPI‑INF‑3DHP 같은 표준 벤치마크에서 기존 최첨단 방법들을 능가하거나 동등한 성능을 기록했다. 특히, 카메라 파라미터를 명시적으로 추정함으로써 스케일과 깊이 오류가 크게 감소했으며, 이는 “in‑the‑wild” 환경에서의 일반화 능력 향상으로 이어진다. 둘째, RegNet과 LiftNet을 순차적으로 연결한 파이프라인이 단일 단계 직접 회귀 방식보다 일관된 2D‑3D 매핑을 제공한다는 점을 실증했다. 전체 시스템은 비교적 가벼운 캡슐 기반 RegNet과 효율적인 GLOW‑NF 덕분에 연산 비용도 합리적인 수준을 유지한다.

요약하면, EPOCH는 (1) 완전 퍼스펙티브 카메라 모델을 활용한 2D‑3D 매핑, (2) 약한 2D 감독만으로 카메라와 포즈를 동시에 추정하는 RegNet, (3) 사이클 일관성과 정규화 흐름을 결합한 무감독 LiftNet, (4) 뼈 비율 및 관절 굴곡 제약을 통한 인체학적 정규화라는 네 가지 핵심 요소를 통합함으로써, 데이터 부족과 불확실성 문제를 동시에 완화하고, 실제 환경에서도 견고한 3D 인간 자세 추정 성능을 달성한다.