인체 부위 실시간 추적 기반 활동 인식

초록

본 논문은 비디오에서 머리·상체·팔·다리 등 주요 인체 부위를 실시간으로 추적하고, 이를 토대로 물체 접근·운반·개폐와 같은 인간 활동을 인식하는 시스템(HBPT)을 제안한다. 토러스(상체) 위치와 크기를 블롭 추적과 전경 마스크 정제 과정을 통해 얻고, 각 부위는 토러스에 대한 상대적 위치와 2차원 가우시안 블롭으로 모델링한다. 조명 변화와 부분 가림에도 강인한 성능을 보이며, 실시간 처리 능력을 갖춘다.

상세 분석

이 연구는 인간 활동 인식을 위해 인체 부위별 위치와 형태 정보를 정밀하게 추적하는 방법론을 제시한다. 핵심 아이디어는 ‘토러스(상체)를 기준점으로 삼아 다른 부위의 상대적 위치를 추정한다’는 점이다. 토러스는 영상 프레임마다 배경 차감 기반 전경 마스크를 생성한 뒤, 블롭 추적 모듈을 이용해 대략적인 위치와 크기를 파악한다. 여기서 전경 마스크는 잡음과 그림자, 조명 변화에 민감한데, 저자들은 정제 모듈을 도입해 모폴로지 연산과 히스토그램 기반 영역 분할을 결합함으로써 마스크의 경계를 매끄럽게 다듬는다. 정제된 마스크 위에 토러스 영역을 2차원 가우시안 블롭으로 모델링하면, 중심 좌표와 표준편차(크기) 정보를 얻을 수 있다.

다음 단계에서는 토러스 중심을 기준으로 팔·다리·머리 영역을 사전 정의된 비율(예: 팔은 토러스 위쪽 0.20.4, 다리는 아래쪽 0.60.9 등)로 분할한다. 각 부위 역시 가우시안 블롭으로 표현되며, 블롭의 중심 이동과 표준편차 변화를 통해 부위의 움직임과 자세 변화를 추적한다. 이러한 2D 가우시안 모델은 계산량이 적어 실시간 처리에 유리하고, 부위 간 겹침이나 부분 가림 상황에서도 확률적 영역 표현 덕분에 어느 정도 복원 효과를 제공한다.

시스템은 프레임당 토러스 검출 → 전경 마스크 정제 → 부위 비율 분할 → 가우시안 파라미터 업데이트의 파이프라인으로 구성된다. 구현에는 OpenCV 기반의 배경 차감(BG‑SubtractorMOG2)과 연결 요소 분석, 그리고 커스텀 블롭 트래커가 사용된다. 실험에서는 조명 변화가 큰 실내·실외 환경, 그리고 물체에 의해 몸통이 부분 가려지는 상황에서도 토러스와 부위 위치를 85% 이상 정확하게 유지한다는 결과를 보였다.

활동 인식 단계에서는 추적된 부위들의 시계열 좌표와 크기 변화를 특징 벡터로 변환한다. 예를 들어 ‘물체 접근’은 손(팔) 블롭이 물체 위치에 가까워지는 패턴, ‘물체 운반’은 팔·손 블롭이 물체와 일체화되는 지속적인 거리 유지, ‘상자 개폐’는 손과 팔이 상자 경계 근처에서 급격히 회전하거나 크기가 변하는 패턴으로 정의된다. 이러한 특징은 간단한 HMM 또는 SVM 분류기에 입력되어 실시간으로 활동 라벨을 출력한다.

기술적 강점은 (1) 토러스 중심 기반의 상대적 부위 모델링으로 복잡한 포즈 변화를 간단히 표현, (2) 전경 마스크 정제로 잡음에 강인, (3) 2D 가우시안 블롭을 이용한 저비용 연산으로 실시간 처리 가능, (4) 부분 가림 상황에서도 부위 위치를 확률적으로 보정한다는 점이다. 한계점으로는 부위 비율이 사람마다 다를 수 있어 개인별 캘리브레이션이 필요하고, 급격한 회전이나 비정형 자세(예: 몸을 뒤집는 동작)에서는 가우시안 모델이 부정확해질 수 있다. 또한 배경 차감에 의존하므로 카메라 움직임이 있는 경우 추가적인 영상 정합 단계가 요구된다.

전반적으로 이 논문은 실시간 인간 활동 인식을 위한 효율적인 인체 부위 추적 프레임워크를 제시하며, 저사양 하드웨어에서도 적용 가능한 점이 실용적이다. 향후 연구에서는 딥러닝 기반 전경 분할과 3D 스켈레톤 모델을 결합해 개인 차이를 보정하고, 이동 카메라 환경에서도 견고하게 동작하도록 확장할 여지가 있다.