단일 깊이 이미지로 임의 골격의 자세 추정

초록

본 논문은 사전 학습 없이 임의의 kinematic 구조를 가진 골격을 단일 깊이 이미지에서 자동으로 자세를 복원하는 방법을 제안한다. 진화 알고리즘을 이용해 골격의 관절 각도와 위치를 최적화함으로써 39·78 자유도 모델에서도 높은 정확도로 자세를 추정하고, 자체 가림(self‑occlusion) 상황에서도 견고하게 동작함을 실험을 통해 입증한다.

상세 분석

이 연구는 기존의 인간 자세 추정이 주로 RGB 이미지와 대규모 학습 데이터에 의존하는 한계를 극복하고자, 깊이 센서만을 활용한 비지도 방식에 초점을 맞춘다. 핵심 아이디어는 임의의 골격 구조를 파라미터화한 뒤, 관측된 깊이 이미지와의 차이를 최소화하는 최적화 문제를 진화 알고리즘으로 해결하는 것이다. 먼저 입력 깊이 이미지를 전처리해 표면 포인트 클라우드를 추출하고, 이를 골격의 각 관절에 대한 제약조건(관절 범위, 연결 길이 등)과 결합한다. 진화 과정에서는 개체를 골격의 관절 각도와 전역 위치를 포함하는 유전자로 표현하고, 교차·돌연변이 연산자를 통해 다양성을 확보한다. 적합도 함수는 두 가지 요소로 구성된다. 첫째, 골격이 생성한 가상 깊이 이미지와 실제 관측 이미지 사이의 픽셀‑레벨 차이를 L2 거리로 측정한다. 둘째, 모델이 물리적으로 불가능한 관절 구성을 방지하기 위해 관절 제한 위반 정도에 페널티를 부여한다. 이러한 다중 목표 최적화는 복합적인 자세 공간을 효율적으로 탐색하게 하며, 특히 자체 가림으로 인해 관측이 불완전한 경우에도 골격의 전역 구조를 유지하면서 부분적인 일치성을 찾아낸다. 실험에서는 39 자유도(인체 상반신)와 78 자유도(전체 인체) 모델을 대상으로, 단일 깊이 프레임만으로 평균 관절 오차가 각각 5.2 cm와 7.8 cm 수준에 머무르는 것을 확인했다. 또한, 전통적인 ICP(Iterative Closest Point) 기반 방법과 비교했을 때, 복잡한 관절 구성을 가진 모델에서 수렴 속도와 정확도 모두 우수함을 보였다. 한계점으로는 진화 과정이 계산 비용이 높아 실시간 적용에는 추가적인 가속화가 필요하고, 초기 개체군의 다양성에 따라 수렴 품질이 달라질 수 있다는 점을 들 수 있다. 향후 연구에서는 GPU 기반 병렬 진화를 도입하거나, 사전 학습된 형태 모델을 활용해 탐색 공간을 사전 축소하는 하이브리드 접근법을 제안한다.