에고센트릭 영상에서 좌우 손 분할을 위한 맥스웰 기반 모델과 시간 초점 초픽셀 기법

초록

이 논문은 착용형 카메라가 촬영한 에고센트릭 영상에서 손을 단순히 전경‑배경으로 구분하는 기존 방식의 한계를 극복한다. 저자는 다중 모델 랜덤 포레스트를 이용해 색 기반 이진 손 분할을 수행하고, 시간 초점 초픽셀을 활용해 손‑손 겹침을 검출·분리한다. 이후 손의 위치와 각도에 대한 맥스웰 분포를 이용한 최대우도 비율 검정을 통해 왼손·오른손을 식별한다. 실험 결과, 기존 최첨단 이진 손 분할기 대비 F1 점수가 평균 10% 향상되고, 겹침 검출·분리 정확도가 99%, 손 식별 정확도도 99%에 달한다.

상세 분석

본 연구는 에고센트릭 비디오에서 손을 ‘좌·우’라는 두 개별 객체로 인식해야 하는 필요성을 강조한다. 기존 연구는 손을 단일 피부‑색 전경으로만 처리했으며, 이는 손‑손 겹침이나 비대칭적인 손 위치에서 심각한 오류를 초래한다. 저자는 이러한 문제를 세 단계로 분리한다. 첫 번째 단계는 다중 조명 모델을 활용한 이진 손‑분할이다. 훈련 데이터에서 각 프레임의 HSV 히스토그램을 전역 특징으로 삼아 K‑Nearest‑Neighbor 구조(KRF)를 구축하고, 테스트 시 현재 프레임과 가장 유사한 K개의 랜덤 포레스트를 선택해 각각의 픽셀 마스크를 생성한다. 이후 λ=0.9의 감쇠 가중치를 적용해 가중 평균을 구함으로써 조명 변화에 강인한 합성 마스크를 얻는다. 두 번째 단계는 시간 초점 초픽셀(Temporal Superpixel)을 이용한 손‑손 겹침 검출이다. 연속 프레임 간 초픽셀 클러스터의 이동을 추적해 겹침 여부를 집합 연산으로 판단하고, 겹침이 감지되면 초픽셀 경계에 기반해 하나의 마스크를 두 개의 손 마스크로 분할한다. 이 과정은 단순 집합 연산만으로 99% 이상의 검출률을 달성한다. 세 번째 단계는 좌·우 손 식별이다. 각 손 마스크의 중심 좌표와 주축 방향 각도를 추출하고, 이를 맥스웰 분포(θ, r)로 모델링한다. 왼손과 오른손 각각에 대한 파라미터를 사전 학습한 뒤, 새로운 마스크에 대해 두 분포의 우도 비율을 계산해 최대우도 검정으로 라벨을 부여한다. 이 방법은 손 위치가 비대칭이거나 프레임 가장자리에서 물체를 잡고 있을 때도 99% 이상의 정확도를 유지한다. 실험은 Kitchen 데이터셋을 사용했으며, 다중 모델 이진 분할만 적용했을 때보다 평균 F1이 10점 상승하고, 전체 파이프라인은 30 FPS(600 px 폭, GPU 가속)로 실시간 처리 가능함을 보였다. 논문의 주요 강점은 각 단계가 서로 독립적이어서 다른 센서(RGB‑D)나 더 빠른 분할 알고리즘과 쉽게 결합할 수 있다는 점이며, 한계로는 ‘한 프레임에 최대 두 손만 존재한다’는 가정과 초기 프레임에 겹침이 없다는 전제가 있다. 향후 연구에서는 다중 사람 상호작용 상황과 3D 깊이 정보를 통합한 확장 모델이 제안될 수 있다.