다일간 sEMG 제스처 인식을 위한 자가 보정 도메인 적대 신경망

본 연구는 표면 근전도(sEMG) 기반 제스처 인식 시스템이 여러 날에 걸쳐 발생하는 전극 이동, 근육 피로, 신호 변동 등으로 인해 성능이 급격히 저하되는 문제를 해결하고자 한다. 기존에는 사용자가 직접 라벨이 포함된 데이터를 다시 수집하고 재학습하는 번거로운 재보정 과정이 필요했으며, 이는 실시간 제어 환경에서 큰 장애 요인으로 작용한다. 이러한 배경에서 저자들은 ‘Unsupervised Domain Adaptation(UDA)’이라는 관점에서 문제를 재정의하고, 라벨이 없는 새로운 세션 데이터에 자동으로 적응하는 Self‑Calibrating Asynchronous Domain Adversarial Neural Network, 즉 SCADANN을 제안한다. SCADANN의 구조는 크게 세 부분으로 나뉜다. 첫 번째는 특징 추출기(feature extractor)로, 4개의 convolution‑batchnorm‑leakyReLU‑dropout 블록을 통해 입력 스펙트로그램 또는 시간‑공간 디스크립터를 고차원 특징으로 변환한다. 두 번째는 제스처 분류 헤드(gesture head)이며, 이는 라벨이 있는 초기 학습 데이터(Training Recording)로부터 지도 손실을 최소화한다. 세 번째는 도메인 구분기(domain discriminator) 헤드로, 라벨이 있는 데이터와 라벨이 없는 새로운 데이터 사이의 도메인 차이를 최소화하도록 역전파되는 적대 손실을 계산한다. 핵심 혁신은 ‘asynchronous pseudo‑labeling’이다. 기존 DANN 기반 UDA는 도메인 적대 손실만을 사용해 특징을 도메인 불변하게 만들지만, 라벨이 없는 데이터에 대한 직접적인 지도 신호가 부족해 실제 분류 성능이 제한적이다. SCADANN은 일정 시간(예: 5 초) 동안 모델이 출력한 예측값을 누적하고, 다수결 투표를 통해 신뢰도가 높은 프레임에만 pseudo‑label을 부여한다. 이 과정은 실시간 제어에서 요구되는 짧은 레이턴시(150‑250 ms)와 충돌하지 않도록 설계되었으며, 라벨이 없는 데이터에 대해 점진적으로 지도 손실을 추가함으로써 모델을 자체 보정한다. 실험은 두 개의 데이터셋을 사용했다. 첫 번째는 3DC Dataset(22명)으로 네트워크 구조와 하이퍼파라미터를 튜닝했으며, 두 번째는 Long‑term 3DC Dataset(20명)으로 실제 다일간 적응 성능을 평가했다. 각 참가자는 14일에 걸쳐 3번의 세션을 수행했으며, 각 세션은 Training Recording(라벨 포함)과 두 번의 Evaluation Recording(라벨 없음)으로 구성된다. Evaluation Recording은 제스처, 강도, 팔 위치가 무작위로 변하는 동적 상황을 제공한다. 첫 번째 Evaluation Recording은 모델의 무지도 학습에 사용되고, 두 번째는 최종 테스트에 활용된다. 데이터 전처리는 150 ms 윈도우(100 ms 오버랩)로 세그멘테이션하고, 20‑495 Hz 대역을 Butterworth 필터링한 뒤, 각 채널에 대해 4 × 10 × 24 형태의 스펙트로그램을 생성한다. 스펙트로그램은 ConvNet 입력으로 사용되며, 기존 연구에서 높은 정확도를 보인 바 있다. 또한, 시간‑공간 디스크립터(10 채널 × 150 샘플)도 별도 입력으로 실험하여 두 모달리티 모두에서 SCADANN의 효과를 검증했다. 비교 대상은 두 가지 최신 자기 보정 알고리즘(다수결 기반 재라벨링, Confidence‑Threshold 기반 재학습)과 세 가지 도메인 적대 알고리즘(DANN, VADA, DIR‑T‑T)이다. 모든 방법을 동일한 ConvNet 구조와 동일한 학습 스케줄(Adam optimizer, batch size 512, learning rate 0.001316)로 실행했다. 성능 평가는 평균 정확도와 표준편차로 보고했으며, 통계적 유의성 검증을 위해 반복 실험을 수행했다. 결과는 다음과 같다. SCADANN은 라벨이 없는 새로운 세션에 대해 평균 정확도가 86.3%에 달했으며, 이는 ‘no‑recalibration’ baseline(≈73%)보다 13%p 이상, 기존 자기 보정 방법(≈78‑81%)보다 5‑8%p, 그리고 최신 도메인 적대 방법(DANN≈80%, VADA≈82%, DIR‑T‑T≈83%)보다도 일관적으로 우수했다. 특히 전극 이동이 큰 경우와 강도·위치 변동이 큰 동적 평가에서 가장 큰 성능 격차를 보였다. 학습 수렴 속도도 빠른 편이었으며, 평균 30 epoch 내에 최적 성능에 도달했다. 논문의 주요 기여는 다음과 같다. ① sEMG와 같이 비정형적인 바이오시그널에 UDA를 적용한 최초 사례 중 하나이며, 도메인 적대 학습에 비동기식 pseudo‑label을 결합해 라벨이 전혀 없는 상황에서도 높은 정확도를 달성했다. ② 실시간 제어 제약(짧은 윈도우, 낮은 레이턴시)을 고려한 데이터 전처리와 라벨 생성 전략을 제시함으로써 실제 로봇 제어나 게임 인터페이스에 바로 적용 가능하도록 설계했다. ③ 두 가지 입력 모달리티(스펙트로그램, 시간‑공간 디스크립터)를 모두 검증해 시스템 설계 시 선택의 폭을 넓혔다. ④ 기존 도메인 적대 방법과 자기 보정 방법을 모두 능가하는 종합적인 성능을 입증했다. 한계점으로는 현재 실험이 건강한 피험자에 국한되어 있어, 의수 사용자나 근육 손상 환자에게 동일한 효과가 있는지는 추가 검증이 필요하다. 또한 pseudo‑label 생성에 사용된 고정된 다수결 윈도우 길이가 제스처 전환이 빠른 경우 라벨 품질이 저하될 가능성이 있다. 향후 연구에서는 (a) 윈도우 길이를 동적으로 조정하는 메커니즘, (b) 강화학습 기반 라벨 신뢰도 추정기, (c) 멀티모달(EMG + IMU) 결합을 통한 도메인 적응을 탐색할 계획이다. 요약하면, SCADANN은 다일간 sEMG 제스처 인식 시스템에서 라벨이 없는 데이터를 활용해 자동으로 재보정함으로써, 기존 재보정 방식의 번거로움을 크게 줄이고, 실시간 제어 환경에서도 높은 정확도와 안정성을 제공하는 혁신적인 접근법이다.