다중 관성 센서를 활용한 트랜스포머 기반 손동작 인식

초록

본 논문은 손가락마다 IMU 5개를 부착한 ‘WaveGlove’ 프로토타입을 제작하고, 단일·다중 제스처 두 개의 vocabularies로 1 000·10 000개 이상의 샘플을 수집하였다. 11개의 공개 HAR·HGR 데이터셋을 동일한 전처리 방식으로 정규화한 뒤, 기존 머신러닝·딥러닝 모델과 새롭게 설계한 트랜스포머 기반 모델을 비교 평가한다. 실험 결과, 다중 센서가 3개까지 사용될 때 인식 정확도가 크게 향상되며, 제안 모델이 대부분의 데이터셋에서 최고 성능을 달성함을 확인한다.

상세 분석

WaveGlove는 기존 연구에서 주로 사용되던 단일 IMU 대신, 각 손가락에 MPU6050을 장착해 5채널의 관성 데이터를 동시에 수집한다. 이는 손가락별 미세 움직임을 포착할 수 있게 해, 기존에 ‘전체 손 움직임’에 국한됐던 제스처 vocabularies를 넘어, 손가락별 독립적인 동작을 포함하는 복합 제스처를 정의한다. 두 개의 vocabularies—‘single’은 8개의 전통적 손동작과 null 클래스로 구성, ‘multi’는 10개의 손가락별 차별화된 동작을 포함—는 각각 1 000·10 000개의 샘플을 제공한다.

데이터 정규화 단계에서는 6개의 기존 HAR 데이터셋(