크론키 PCA 기반 비디오 시공간 모델링으로 성별 분류

본 논문은 고차원 시공간 데이터에 특화된 Kronecker PCA(KronPCA)와 대각선 보정 수축 기법을 활용해 비디오 기반 보행자 성별 분류 문제를 해결한다. 연구 배경으로는 감시 영상에서 인간의 외형·동작 정보를 동시에 활용해야 하는데, 기존의 공간 특징만을 이용한 방법은 시간적 정보를 놓치고, 고차원 특성 때문에 학습 샘플이 부족한 상황에서 공분산 추정이 불안정해지는 한계가 있다. 이를 극복하기 위해 저자들은 다음과 같은 접근을 제안한다. 1. **데이터 모델링** 각 비디오 프레임에서 HOG(Histogram of Oriented Gradients) 특징을 추출하고, 사람 바운딩 박스를 정규화해 1860 차원의 공간 피처 벡터를 얻는다. 시간 축으로 T개의 연속 프레임을 쌓아 p × T 행렬 X를 만든 뒤, 이를 열벡터 x=vec(X)로 변환한다. 이때 x는 pT 차원의 다변량 정규분포를 가정하고, 평균 μ와 공분산 Σ를 추정한다. 2. **KronPCA 공분산 추정** 고차원 공분산 Σ를 직접 추정하면 파라미터 수가 (pT)^2 로 급증한다. 따라서 Σ를 Kronecker product의 합 형태인 Σ≈∑_{i=1}^r T_i⊗S_i + I⊗U 로 근사한다. 여기서 T_i는 시간 차원을 나타내는 T × T Toeplitz 행렬, S_i는 공간 차원을 나타내는 p × p 행렬, U는 대각선 보정 행렬이다. 이 구조는 (i) 시간 연속성을 보존하고 (ii) 파라미터 수를 O(r(p+T)) 로 크게 줄인다. 3. **최적화 및 대각선 보정** 공분산 추정은 두 단계 최적화로 수행된다. 먼저 샘플 공분산 Σ_SCM을 재배열 연산자 R을 통해 T^2 × p^2 형태의 행렬로 변환하고, 마스크 M을 적용해 대각 성분을 제외한다. 이후 핵노름(핵 규제)과 Frobenius norm을 결합한 목적함수 ‖M⊙(R−R̂)‖_F^2 + β‖R̂‖_* 를 최소화한다. 이 문제는 convex이며, 기존 연구에서 제시된 알고리즘으로 효율적으로 해결된다. 최적화된 R̂을 역재배열하여 Σ̂_Kron을 복원하고, 대각선 보정 행렬 U를 직접 계산한다. 4. **대각선 보정 수축(DC‑KronPCA‑LW)** 추정된 Σ̂_Kron은 아직 조건수가 좋지 않을 수 있다. 따라서 Ledoit‑Wolf 방식으로 수축 파라미터 ρ̂를 추정하고, Σ̂ = (1‑ρ̂)·Σ̂_Kron + ρ̂·F (F는 trace(Σ̂_Kron)/(pT)·I) 로 섞어 최종 공분산을 얻는다. 이 단계는 특히 샘플 수가 적을 때 역공분산의 안정성을 크게 향상시킨다. 5. **피처 블록화 및 로지스틱 LLR** HOG 피처는 1860 차원으로 매우 고차원이다. 이를 dyadic 블록 방식으로 4단계 레벨로 분할해 각 블록마다 독립적인 공분산을 학습한다. 이렇게 하면 (a) 특정 공간 영역의 정보가 강조되고 (b) 다중 블록 LLR을 선형 결합해 전체 판별 점수를 얻을 수 있다. 블록별 LLR은 Gaussian 로그우도비 (log p(x|μ_m,Σ_m) − log p(x|μ_f,Σ_f)) 로 계산하고, 가중치는 반복적 임계값 로지스틱 회귀를 통해 학습한다. 6. **실험 설정** - 데이터셋: SWAG‑1, 저해상도 장거리 감시 영상, 남·여 각각 89개 비디오(총 356개). - 전처리: Felzenszwalb deformable part model HOG detector로 사람 검출, 바운딩 박스 추적, 프레임당 HOG 1860 차원 추출. - 학습/테스트 분할: 무작위로 n개의 트랙(프레임)으로 학습, 나머지를 테스트. n은 2400 프레임을 기준으로 여러 실험 수행. - 비교 방법: (i) KronPCA 전체 LLR (블록 없이 전역 공분산 사용), (ii) SVM (다프레임 HOG 직접 입력), (iii) 제안된 KronPCA 로지스틱 멀티레벨 LLR. 7. **결과 및 분석** - 정확도: 제안된 KronPCA 로지스틱 멀티레벨 LLR은 T=6일 때 89.4 % (n=2400) 로 최고 성능을 보였으며, 전체 LLR은 88.0 %에 그쳤다. SVM은 T가 증가할수록 성능이 감소해 84.4 %에 머물렀다. - 시간 정보 효과: T>1 (다프레임 윈도우)일 때 공분산 기반 방법은 정확도가 현저히 상승했지만, SVM은 차원 폭증으로 오히려 성능이 떨어졌다. 이는 KronPCA가 구조적 정규화를 통해 시간 정보를 효과적으로 활용했음을 의미한다. - 피처 중요도: 블록 LLR 가중치를 분석한 결과, 머리·어깨·다리 영역의 HOG 피처가 가장 큰 기여를 했으며, 배경 영역은 거의 영향을 주지 않았다. 이는 성별 구분에 있어 신체 형태와 보행 패턴이 핵심임을 실증한다. - 오류 사례: 무거운 외투, 짐, 악천후, 이웃 보행자와의 겹침 등으로 인해 일부 트랙이 오분류되었으며, 데이터 라벨링 오류 가능성도 제기되었다. 8. **결론 및 향후 과제** 본 연구는 고차원 시공간 데이터에 대한 구조적 공분산 추정과 대각선 보정 수축을 결합해, 제한된 학습 샘플에서도 안정적인 Gaussian 판별기를 구현했다. 특히, 블록 기반 피처 선택과 로지스틱 LLR 결합은 해석 가능성을 제공하면서도 성능을 크게 향상시켰다. 향후 연구에서는 (a) 비선형 확장을 위한 커널 KronPCA, (b) 딥러닝 기반 특징과의 하이브리드, (c) 온라인/스트리밍 환경에서의 실시간 공분산 업데이트, (d) 다중 클래스(연령, 복장 등) 확장 등을 탐색할 수 있다.