3D 행동 인식을 위한 GLAC 기반 2D 모션 정적 이미지 분석

초록

본 논문은 깊이 영상에서 추출한 모션 히스토리 이미지(MHI)와 정적 히스토리 이미지(SHI)를 3D Motion Trail Model로 생성한 뒤, Gradient Local Auto‑Correlation(GLAC) 특징을 각각 추출한다. 두 특징을 결합한 벡터를 l2‑regularized Collaborative Representation Classifier(l2‑CRC)로 분류하여 MSR‑Action3D, DHA, UTD‑MHAD 데이터셋에서 기존 방법들을 능가하는 성능을 보인다.

상세 분석

본 연구는 깊이 기반 행동 인식 분야에서 흔히 발생하는 고차원 시공간 데이터의 처리 비용 문제를 2차원 이미지 형태로 변환함으로써 효율성을 크게 향상시킨다. 3D Motion Trail Model(3DMTM)은 연속된 프레임의 깊이값을 시간축에 누적해 MHI와 SHI를 생성한다. MHI는 움직임이 발생한 영역을 밝은 값으로, 정적 상태는 어두운 값으로 표현해 움직임의 궤적을 시각화한다. 반면 SHI는 프레임마다 정적인 자세를 누적해 자세 변화의 전반적인 패턴을 포착한다. 이러한 두 이미지의 조합은 동적 정보와 정적 정보를 동시에 제공하므로, 행동 구분에 필요한 풍부한 특징을 확보한다.

특징 추출 단계에서는 Gradient Local Auto‑Correlation(GLAC) 기법을 적용한다. GLAC는 이미지의 그라디언트 방향과 크기를 기반으로 지역적인 자기상관을 계산해, 텍스처와 형태 정보를 동시에 인코딩한다. 기존의 HOG, LBP와 달리 GLAC은 방향성뿐 아니라 그라디언트 강도의 상관관계까지 고려하므로, 미세한 자세 변화를 민감하게 감지한다. 논문에서는 MHI와 SHI 각각에 대해 0‑order와 1‑order GLAC를 구해 2차원 히스토그램 형태의 피처 벡터를 만든 뒤, 두 벡터를 단순 연결(concatenation)하여 최종 표현을 만든다. 이 과정은 차원 폭이 커지는 단점을 갖지만, 이후 l2‑CRC 분류기가 L2 정규화를 통해 과적합을 억제하고 효율적인 협업 표현을 수행한다.

분류기 선택에 있어 l2‑regularized Collaborative Representation Classifier(l2‑CRC)를 채택한 이유는, 전통적인 SRC(스파스 표현 기반 분류)보다 계산량이 적고, 클래스 간 협업 관계를 모델링함으로써 유사 클래스 간 경계 모호성을 완화한다는 점이다. L2 정규화는 피처 벡터의 스케일 차이를 보정하고, 고차원 피처에 대한 안정성을 제공한다. 실험에서는 10‑fold 교차 검증과 표준 데이터셋 분할 방식을 모두 적용해 일반화 성능을 검증하였다.

성능 평가 결과, MSR‑Action3D에서는 96.3%의 정확도를, DHA에서는 94.7%, UTD‑MHAD에서는 92.5%의 정확도를 기록했다. 이는 기존의 3D CNN 기반 방법이나 포인트 클라우드 기반 방법보다 평균 2~4% 높은 수치이며, 특히 동작이 짧고 급격히 변하는 클래스에서 눈에 띄는 개선을 보였다. 또한, MHI와 SHI를 각각 단독으로 사용할 경우보다 결합했을 때 평균 3% 이상의 정확도 상승을 확인했다.

한계점으로는 피처 차원 증가에 따른 메모리 요구량이 커지는 점과, 3DMTM이 프레임 간 시간 간격이 일정할 때 최적의 성능을 보인다는 점을 들 수 있다. 향후 연구에서는 차원 축소를 위한 PCA 혹은 딥러닝 기반 자동 인코더를 도입하고, 비정규 프레임 레이트에 대한 적응형 3DMTM 설계를 모색할 필요가 있다.