효율적인 FMCW 레이더 기반 손동작 인식용 합성곱 신경망

초록

본 논문은 57‑64 GHz 대역의 FMCW 레이더가 제공하는 거리·속도·방위(Angle‑of‑Arrival) 정보를 하나의 3채널 이미지(RSA)로 결합하고, 이를 VGG‑10 및 ResNet‑20 구조의 CNN에 입력하여 네 가지 손동작(좌·우 파동, 클릭, 손목) 인식을 수행한다. 데이터 증강과 20층 잔차망을 적용해 검증 정확도 98 %를 달성했으며, 기존 CNN+LSTM 대비 각 제스처별 정확도가 크게 향상되었다.

상세 분석

이 연구는 FMCW 레이더가 제공하는 3차원 측정값(거리, 도플러 속도, 방위)을 시계열적으로 128프레임씩 쌓아 128 × 128 × 3 형태의 이미지(RSA)로 변환하는 전처리 파이프라인을 제안한다. 기존 연구들이 주로 Range‑Doppler Map(RDM)만을 입력으로 사용해 Angle‑of‑Arrival 정보를 무시했지만, 본 논문은 각 Range‑Bin에 대해 최대 속도와 평균 방위를 계산해 별도 채널로 구성함으로써 공간‑시간 패턴을 동시에 학습할 수 있게 했다.

네트워크 설계는 VGG‑10과 ResNet‑20 두 가지 모델을 비교한다. VGG‑10은 3×3 컨볼루션‑맥스풀링 블록을 2번 반복하고 전결합층을 두 개 두어 10층 구조를 이루며, Adam 옵티마이저와 조기 종료, 학습률 감소 전략을 적용해 10번째 epoch에서 92 % 검증 정확도에 도달한다. ResNet‑20은 VGG‑10에 잔차 블록과 배치 정규화를 삽입해 20층으로 깊이를 늘렸으며, 이는 학습 안정성을 높이고 과적합을 방지한다. 결과적으로 검증 정확도는 98 %로 크게 상승한다.

비교 대상으로 사용된 CNN+LSTM은 RDM 시퀀스를 64 × 64으로 리사이즈한 뒤 2개의 5×5 컨볼루션과 맥스풀링을 거쳐 특징을 추출하고 LSTM에 전달한다. 그러나 Angle‑of‑Arrival 정보를 활용하지 못해 LEFT/RIGHT 제스처 구분이 약하고, 전체 평균 정확도는 78 %에 머문다. 이는 레이더 데이터의 다차원 특성을 효과적으로 활용하지 못한 것이 원인으로 보인다.

데이터셋은 50명의 피험자(좌·우 손 각각 10회씩)로부터 3652개의 유효 레코드를 수집하고, 랜덤 크롭과 블록 추출을 통해 40만 이상의 학습 샘플을 생성한 점이 주목할 만하다. 그러나 레코드 수 대비 증강 비율이 높아 실제 현장 적용 시 일반화 성능에 대한 검증이 필요하다.

오류 분석에서는 LEFT와 RIGHT가 서로 혼동되는 현상과, CLICK·WRIST가 방위 변화가 큰 경우 LEFT/RIGHT로 오분류되는 문제를 지적한다. 이는 제스처 구간(준비‑핵심‑수축) 간 경계가 흐릿해 전처리 단계에서 더 정교한 세그멘테이션이 요구된다는 점을 시사한다. 또한, 실제 실시간 테스트에서 96 % 정확도를 보고했지만, 실험 환경(조명, 배경 잡음, 다중 사용자)과 레이더 배치에 따른 성능 변동에 대한 언급이 부족하다.

향후 연구 방향으로는 사용자 정의 제스처 지원, 다중 사용자 동시 인식, 그리고 레이더 파라미터(대역폭, chirp 수)와 네트워크 구조(경량화, 모바일 배포) 간 트레이드오프 분석이 제시된다. 전반적으로 레이더 기반 인식의 프라이버시 보호 장점과 CNN 기반 고성능 분류를 결합한 접근은 의미가 크지만, 실제 제품화 단계에서는 하드웨어 비용, 실시간 처리 지연, 그리고 다양한 환경에 대한 견고성 검증이 추가로 요구된다.