현실적 가림 상황에서 3D 인간 자세 추정 모델의 견고성 평가

초록

본 논문은 합성 데이터셋 BlendMimic3D를 활용해 9개의 최신 2D‑to‑3D 자세 추정 모델을 실제 검출기 노이즈를 모사한 가림 시뮬레이션 하에 평가한다. 전역 및 관절별 민감도 분석을 통해 모든 모델이 가림에 취약함을 확인했으며, 특히 손목·발목 등 말단 관절이 가장 큰 오류를 보였다. 확산 기반 모델조차도 확률적 특성에도 불구하고 전반적인 성능 저하가 두드러졌다. 연구 결과는 현재 3D HPE 모델이 현실 세계의 가림 상황에 충분히 강건하지 않으며, 향후 연구 방향에 대한 인사이트를 제공한다.

상세 분석

본 연구는 3D 인간 자세 추정(3D HPE) 분야에서 가장 간과되어 온 ‘가림(occlusion)’ 문제를 체계적으로 정량화한다는 점에서 의의가 크다. 먼저, 기존의 Human3.6M과 같은 실험실 환경 데이터는 가림이 거의 없거나 제한적이어서 실제 적용 시 성능 격차가 크게 나타난다. 이를 보완하기 위해 저자들은 BlendMimic3D라는 합성 데이터셋을 선택했으며, 이 데이터셋은 프레임‑레벨·관절‑레벨 가림 라벨을 제공한다는 점에서 독특하다. 가림 시뮬레이션은 실제 2D 키포인트 검출기의 오류 분포를 분석한 뒤, 해당 분포에 기반한 가우시안 노이즈를 관절별로 주입하는 방식으로 구현되었다. 이렇게 함으로써 ‘가림이 있는 경우’와 ‘가림이 없는 경우’ 사이의 입력 차이를 현실적으로 재현한다.

평가에 사용된 9개 모델은 ConvNet, Graph Convolution, Transformer, Diffusion 등 네 가지 아키텍처 패밀리를 대표한다. 모든 모델은 Human3.6M에서 사전 학습된 상태 그대로 사용했으며, 재학습 없이 직접 테스트함으로써 일반화 능력을 엄격히 검증한다. 성능 평가는 MPJPE(mean per joint position error)와 PA‑MPJPE(Procrustes‑aligned MPJPE)를 기본으로, 가림 비율이 0%에서 50%까지 단계별로 변화시킨 뒤 오류 변화를 기록한다.

실험 결과는 몇 가지 중요한 인사이트를 제공한다. 첫째, 모든 모델이 가림 비율이 증가함에 따라 MPJPE가 급격히 상승했으며, 특히 30% 이상 가림이 발생하면 오류가 2배 이상 증가한다. 둘째, 말단 관절(손목·발목·발끝)은 중앙 관절(골반·척추)보다 평균 15~20mm 더 큰 오류를 보였으며, 이는 관절 간 거리와 시야 가시성 차이에서 기인한다. 셋째, 확산 기반 모델(D3DP, DiffuPose, FinePose)은 다중 가설 생성이라는 이론적 장점을 가졌음에도 불구하고, 노이즈에 민감해 전반적인 성능이 ConvNet 기반 모델보다 낮았다. 이는 확산 과정이 초기 2D 입력의 정확도에 크게 의존한다는 점을 시사한다. 넷째, Transformer 기반 모델(PoseFormer, MixSTE 등)은 전역적인 컨텍스트를 활용해 중간 정도의 가림에서는 비교적 안정적인 성능을 유지했지만, 극단적인 가림 상황에서는 여전히 큰 오류를 보였다.

또한, 저자들은 가림 라벨을 이용한 ‘가림‑인식’ 모듈을 별도 도입하지 않은 기존 모델들의 한계를 강조한다. 현재 대부분의 2D‑to‑3D 리프팅 파이프라인은 입력 키포인트가 모두 유효하다고 가정하고 설계되었으며, 가림이 감지되면 단순히 ‘노이즈’로 처리한다. 따라서 향후 연구는 (1) 가림을 사전 예측하거나 실시간으로 식별하는 모듈, (2) 가림된 관절에 대한 구조적 제약을 강화하는 그래프/트랜스포머 기반 어텐션 메커니즘, (3) 다중 가설을 효율적으로 통합해 최종 3D 포즈를 선택하는 후처리 전략 등을 탐구해야 한다.

마지막으로, 데이터셋 편향과 도메인 이동 문제도 논의된다. BlendMimic3D는 합성 이미지이므로 실제 촬영 환경과 색감·조명·노이즈 특성이 다를 수 있다. 그러나 가림 라벨이 풍부하고 다양한 가림 패턴을 포함하고 있기 때문에, 현재 연구는 ‘현실적 가림 시나리오’를 모사하는 데 충분히 유용하다. 향후 실제 비디오 데이터와 결합해 시계열적 가림 연속성을 고려한 평가가 필요하다.

요약하면, 본 논문은 3D HPE 모델의 가림 강인성을 정량적으로 측정하고, 현재 아키텍처가 갖는 구조적 한계를 명확히 드러낸다. 이는 연구자와 엔지니어가 실제 서비스에 적용하기 전에 반드시 고려해야 할 중요한 기준점을 제공한다.