저밀도 sEMG를 위한 Time2Vec 트랜스포머 기반 제스처 인식

초록

본 논문은 두 개 채널만을 이용한 저밀도 표면근전도(sEMG) 신호에 대해 Time2Vec 학습형 시간 임베딩을 결합한 하이브리드 트랜스포머 모델을 제안한다. 정규화된 가산 융합과 2단계 커리큘럼 학습을 통해 데이터 희소성을 극복하고, 8명의 피험자 데이터를 이용해 10가지 제스처를 95.7 % ± 0.20 %의 F1‑score로 분류한다. 새로운 사용자를 위한 빠른 보정 프로토콜(제스처당 2회 시도)으로 정확도를 21 % → 96.9 %까지 회복한다.

상세 분석

이 연구는 기존 고밀도 sEMG 배열이 필요하다는 전제에 도전한다. 저밀도(두 채널) 입력에서도 높은 분류 성능을 달성하기 위해, 저자들은 시간적 변동성을 직접 학습할 수 있는 Time2Vec 임베딩을 도입했다. Time2Vec은 고정된 사인·코사인 기반 위치 인코딩과 달리, 주기적 패턴을 데이터에 맞게 조정하는 가중치 파라미터를 갖는다. 이를 트랜스포머의 입력 임베딩에 통합함으로써, 신호의 비정상적인 시간 왜곡(예: 제스처 수행 속도 차이)을 효과적으로 보정한다.

또한, 공간 특징(컨볼루션 기반 채널별 피처)과 시간 임베딩 사이의 스케일 차이를 해결하기 위해 정규화된 가산 융합(Normalized Additive Fusion)을 설계했다. 기존의 단순 가산 방식은 전압 기반 sEMG 특성에 사인 파형을 직접 더함으로써 진폭 정보를 왜곡시킬 위험이 있었지만, 정규화 과정을 거치면 두 임베딩의 분포가 맞춰져 상호 간섭을 최소화한다. 실험 결과, 이 융합 방식이 단순 연결(concatenation)이나 비정규화 가산보다 안정적인 학습 곡선을 제공하고, 최종 F1‑score에서 0.3 %p 정도의 향상을 보였다.

모델 용량 배분에 대한 체계적인 탐색도 중요한 기여이다. 동일한 연산 예산(플롭스) 하에서, 공간(컨볼루션)과 시간(트랜스포머) 파라미터를 1:1 비율로 균형 배분했을 때 가장 높은 성능과 낮은 변동성을 기록했다. 이는 저밀도 sEMG에서 시간 정보가 공간 정보만큼이나 결정적인 역할을 한다는 가설을 실증한다.

데이터 부족 문제를 해결하기 위해 두 단계 커리큘럼 학습을 적용했다. 첫 단계에서는 강력한 데이터 증강(노이즈 추가, 시간 스케일 변형, 채널 드롭아웃)과 함께 기본 모델을 사전 학습시켜 일반적인 움직임 패턴을 학습한다. 두 번째 단계에서는 제한된 라벨 데이터(각 제스처당 2회)만을 사용해 미세 조정한다. 이 과정에서 학습률을 점진적으로 감소시키고, 조기 종료 기준을 엄격히 적용해 과적합을 방지한다. 결과적으로, 사전 학습된 모델을 새로운 피험자에게 바로 적용했을 때는 21 % 수준에 머물렀으나, 2회 시도만으로 96.9 %까지 회복했다. 이는 실시간 보정이 가능한 저비용 프로스테시스 인터페이스 구현에 큰 의미를 가진다.

비교 실험에서는 (1) 고정 사인·코사인 위치 인코딩을 사용한 표준 트랜스포머, (2) 위치 인코딩을 제거한 공간‑전용 트랜스포머(No‑PE), (3) CNN‑LSTM 기반 순환 모델을 베이스라인으로 설정했다. 모든 베이스라인은 동일한 데이터 전처리와 하이퍼파라미터 탐색 과정을 거쳤으며, Time2Vec‑통합 모델은 평균 3.2 %p 이상의 F1‑score 향상을 보였다. 특히, LSTM 기반 모델은 긴 시퀀스 처리 시 그래디언트 소실과 연산 지연으로 인해 실시간 적용이 어려웠다.

마지막으로, 논문은 저밀도 센서와 고성능 딥러닝 모델의 조합이 상용화 가능한 근전도 기반 제어 시스템의 설계 지표가 될 수 있음을 제시한다. 하드웨어 비용 절감, 배터리 수명 연장, 착용감 개선 등 실용적 이점과 함께, 학습 가능한 시간 임베딩이 생리학적 신호의 비정형성을 보정한다는 새로운 패러다임을 제시한다.