다중 카메라 시점으로 향상된 스켈레톤 기반 행동 인식

초록

본 논문은 기존 단일‑뷰 NTU‑RGBD 데이터셋의 3D 스켈레톤 품질이 행동 인식 성능을 제한한다는 가설을 검증한다. 다중 카메라를 이용해 삼각측량으로 재구성한 고정밀 전신 스켈레톤을 구축하고, 이를 최신 GCN 기반 모델에 적용한 결과, 정확도가 50% 이상 향상되며 새로운 SOTA를 달성한다. 저비용 다중 카메라 설정이 실용적이며, 향후 연구는 멀티‑뷰를 기본 전제로 삼아야 함을 제안한다.

상세 분석

본 연구는 스켈레톤 기반 행동 인식 분야에서 ‘데이터 품질’이 알고리즘 성능을 좌우한다는 중요한 통찰을 제공한다. 기존 NTU‑RGBD‑60/120 데이터셋은 세 대의 비보정 Kinect 카메라로부터 독립적으로 추출된 3D 관절 좌표를 사용했으며, 깊이 모호성·자체‑오클루전·구식 포즈 추정기 한계로 인해 관절 오류가 다수 존재한다. 저자는 이러한 한계를 극복하기 위해 다중 카메라 시점을 활용한 삼각측량 파이프라인을 설계하였다. 핵심은 (1) 원본 비보정 카메라의 내·외부 파라미터를 다중‑뷰 스켈레톤 재투영 오류와 포즈 정렬 오류를 최소화하는 비선형 최적화로 추정하고, (2) 최신 3D 멀티‑뷰·멀티‑퍼슨 포즈 추정기인 RapidPoseTriangulation을 적용해 전신(몸·손·얼굴·손가락) 관절을 동시에 복원한다. 이 과정은 별도 재학습 없이 130 FPS(RTX 4080)로 실시간 처리 가능하며, 기존 30 FPS 영상 스트림과도 매칭된다.

데이터 정합 단계에서는 평균 관절 거리 기반 트래킹을 도입해 사람별 시퀀스를 재구성하고, 짧은 트랙은 잡음으로 간주해 제거한다. 이렇게 얻어진 ‘wb137’ 전신 스켈레톤은 기존 ‘wb25’(기존 관절) 대비 관절 수가 137개로 크게 확대된다. 실험에서는 MSG3D, DG‑STGCN, ProtoGCN 등 세 가지 최신 GCN 모델을 동일 하이퍼파라미터로 재학습시켰으며, 입력 모달리티를 j+b+jm+bm(관절·뼈·관절‑이동·뼈‑이동) 모두를 하나의 그래프에 결합해 단일 모델로 학습함으로써 학습·추론 비용을 크게 절감하였다.

성능 평가 결과, NTU‑RGBD‑60에서 최고 97.5% (ProtoGCN+Skarimva, 멀티‑스트림 앙상블)까지 도달했으며, 기존 SOTA(94.1%) 대비 3.4%p 상승했다. 특히 전신 관절을 모두 사용했을 때 정확도가 크게 향상되었지만, 손가락·얼굴 관절을 과도하게 추가하면 오히려 과적합 위험이 있음을 확인했다. 이는 GCN 구조가 관절 간 연결(edge) 수가 급증함에 따라 연산량이 증가하고, 비핵심 관절에 대한 노이즈가 성능을 저해한다는 점을 시사한다.

또한, 2D‑to‑3D 단일‑뷰 리프팅 방식(NTU‑X)이나 최신 2D 포즈만을 이용한 PoseConv3D와 비교했을 때, 다중‑뷰 삼각측량이 전반적으로 2~5%p 높은 정확도를 기록했다. 이는 다중‑뷰가 깊이 모호성을 해소하고, 자가‑오클루전을 완화함으로써 보다 일관된 3D 구조를 제공한다는 점을 뒷받침한다.

Few‑shot 실험에서도 전신 스켈레톤을 사용한 ProtoGCN+Skarimva가 1‑shot에서 76.0%까지 도달했으며, 5‑shot에서는 84.9%에 근접하는 성능을 보였다. 이는 고품질 스켈레톤이 제한된 라벨 데이터 상황에서도 특징 표현을 강화한다는 중요한 시사점을 제공한다.

실시간 적용 가능성 측면에서는, 다중 카메라 스트림을 처리하는 추가 연산이 GPU 수준에서 충분히 감당 가능함을 보여준다. 저비용 USB 카메라 2~3대와 간단한 체스보드 캘리브레이션만으로도 실험 수준의 정확도 향상을 기대할 수 있다.

종합적으로, 본 논문은 ‘멀티‑뷰 스켈레톤 획득’이 현재 스켈레톤 기반 행동 인식 연구의 기본 전제로 자리 잡아야 함을 강력히 주장한다. 데이터 품질 향상이 모델 설계보다 더 큰 성능 향상을 가져올 수 있음을 입증했으며, 향후 연구는 (1) 전신 관절을 효율적으로 활용할 수 있는 경량 GCN 구조, (2) 자동 캘리브레이션·동기화 최소화 기법, (3) 모바일 디바이스 내장 다중 카메라를 활용한 실시간 파이프라인 등에 초점을 맞출 필요가 있다.