픽셀 정렬 표현형 인간 메쉬 복구

초록

**
PEAR는 단일 ViT 기반 백본에 픽셀‑레벨 지도학습을 결합해 SMPLX와 FLAME 파라미터를 100 FPS 이상 실시간으로 추정한다. 고해상도 입력이나 다중 브랜치 없이도 얼굴·손까지 정밀하게 복원하며, 파트‑레벨 데이터 주석 전략으로 다양한 크롭 상황에 강인성을 확보한다.

**

상세 분석

**
본 논문은 현재 SMPLX 기반 인간 메쉬 복구가 직면한 세 가지 핵심 문제—느린 추론 속도, 얼굴·손 등 세밀 부위의 위치 오차, 그리고 다양한 이미지 크롭에 대한 취약성—를 동시에 해결하고자 한다. 첫 번째 기여는 복잡한 다중‑브랜치 구조를 배제하고, Vision Transformer (ViT‑B)를 단일 백본으로 채택함으로써 파라미터 추정 파이프라인을 크게 단순화한 점이다. ViT는 전역적인 이미지 특징을 효율적으로 캡처하면서도, 기존 연구에서 보여준 바와 같이 고차원 인간 파라미터(신체 포즈·형태, 손 포즈·형태, 얼굴 표현·형태·스케일)를 동시에 회귀할 수 있다.

두 번째 핵심은 “픽셀‑정렬” 지도학습이다. 저자는 차별 가능한 신경 렌더러(3DGS 기반)를 도입해, 예측된 메쉬를 원본 이미지에 직접 렌더링하고 L1·LPIPS 손실을 통해 픽셀 수준의 색·형태 정합을 강제한다. 이 과정은 두 단계 학습 전략과 결합된다. 1단계에서는 coarse 메쉬를 얻기 위해 기존 파라미터와 2D/3D 키포인트 손실만 사용하고, 2단계에서는 렌더링 손실을 추가해 세밀한 얼굴·손 디테일을 정교화한다. 이렇게 하면 고해상도 입력 없이도 미세 부위의 정렬 오류를 크게 감소시킬 수 있다.

세 번째 기여는 파트‑레벨 의사 라벨링 전략이다. 기존 SMPLX 파이프라인은 전체 인체에 대한 단일 라벨링에 의존해, 손·얼굴 영역의 정확도가 제한되었다. 저자는 몸통, 얼굴, 손을 독립적으로 주석화하고, 각각에 맞는 파라미터(β, θ, ϕ)와 스케일 s를 별도 학습한다. 특히 FLAME 파라미터를 사용해 얼굴 표현력을 강화하고, 스케일 파라미터를 도입해 어린이·성인 등 다양한 머리 크기에 대한 일반화를 달성한다.

실험 결과, PEAR는 Human3.6M, 3DPW, AGORA 등 주요 벤치마크에서 기존 SMPLX 기반 방법보다 2~5 % 정도 MPJPE와 PA‑MPJPE를 개선했으며, 추론 속도는 100 FPS를 초과한다. 또한, 얼굴·손 키포인트 오류가 현저히 낮아, 표정·제스처 인식과 같은 다운스트림 작업에 바로 적용 가능함을 입증한다. 전체적으로 PEAR는 “빠르고, 정밀하며, 범용적인” 인간 메쉬 복구 프레임워크로서, 실시간 AR/VR, 로보틱스, 가상 인간 생성 등 다양한 응용 분야에 실질적인 영향을 미칠 것으로 기대된다.

**