웨어러블 인간 활동 인식 위한 교차모달 분리 학습 모델

초록

CMD‑HAR는 센서 데이터의 복합 분포와 개인별 활동 차이를 완화하기 위해 채널 확장, 시공간 분리, 그리고 동적 그래디언트 조절을 결합한 경량 모델을 제안한다. 다중 공개 데이터셋에서 높은 정확도와 실시간 추론 속도를 보이며, 라즈베리 파이 기반 착용형 시뮬레이션을 통해 실제 디바이스 적용 가능성을 검증하였다.

상세 분석

본 논문은 센서 기반 인간 활동 인식(HAR)에서 흔히 발생하는 세 가지 핵심 문제—다중 모달 데이터 혼합, 활동 이질성, 그리고 모델 경량화—를 동시에 해결하고자 한다. 이를 위해 제안된 CMD‑HAR는 크게 네 단계로 구성된다. 첫 번째 단계인 ‘채널 확장’에서는 입력 특성을 카디널리티 그룹과 라디스(Radix) 기반 서브그룹으로 나누어, 각 센서 모달리티의 특성을 보존하면서도 공통된 표현 공간으로 매핑한다. 이 과정에서 라디스‑인식 공간 주의 메커니즘이 적용돼, 모달리티 간 가중치를 동적으로 할당한다. 두 번째 단계인 ‘시공간 분리 메커니즘’은 자기‑주의(self‑attention)를 이용해 공간적 특징과 시간적 특징을 별도로 추출한다. 공간 어텐션 S(·)와 시간 어텐션 T(·)를 독립적으로 학습함으로써, 복합 활동의 세부 서브액티비티가 서로 간섭하지 않도록 설계되었다. 또한, 공통 표현 Fₚ를 위한 교차 어텐션을 도입해 모달리티 간 정렬을 강화한다. 손실 함수는 세 개의 L2 거리 항목(공간‑시간, 공통‑공간, 공통‑시간)으로 구성돼, 서로 다른 표현 간의 차이를 최소화하면서도 독립성을 유지한다. 세 번째 단계인 ‘그래디언트 모듈레이션(Gradient Modulation)’은 다중 모달리티가 학습 과정에서 차지하는 기여도를 실시간으로 측정한다. 각 모달리티 m에 대해 ‖∇θ Lₘ‖²를 계산하고, 이를 기반으로 비율 ρₘ을 도출한다. ρₘ>1이면 해당 모달리티가 과도하게 주도하고 있음을 의미하므로, 하이퍼볼릭 탄젠트 함수를 이용한 억제 계수 γₘ을 적용한다. 반대로 ρₘ<1인 경우에는 강화 계수를 통해 그래디언트를 증폭한다. 이 동적 조절은 모달리티 간 균형을 유지하면서 전체 모델의 일반화 능력을 향상시킨다. 마지막으로 ‘경량 배포 시뮬레이션’에서는 라즈베리 파이 5 기반 환경에서 모델 파라미터 수, 메모리 사용량, 추론 지연시간(≈28 ms)을 측정해 실제 착용형 디바이스에 적용 가능한지를 검증한다. 실험 결과, UCI HAR, PAMAP2, HHAR 등 5개 공개 데이터셋에서 평균 정확도 99.7% 이상을 달성했으며, 기존 최첨단 모델 대비 파라미터 수가 30% 이하로 감소하면서도 추론 속도는 동일 수준을 유지했다. 전체적으로 CMD‑HAR는 모달리티 간 불균형을 정량적으로 파악하고, 이를 그래디언트 레벨에서 보정함으로써 복합 활동 인식에 필요한 세밀한 특징을 효과적으로 추출한다는 점에서 의미가 크다. 또한, 라즈베리 파이 기반 실시간 시뮬레이션을 통해 이론적 성능뿐 아니라 실제 착용형 시스템에의 적용 가능성을 입증함으로써, 연구와 실용 사이의 격차를 크게 줄였다.