도플러 레이더 신호 기반 손동작 인식을 위한 에코 상태 네트워크

초록

본 논문은 FMCW 레이더에서 얻은 범위‑시간(RTM) 및 도플러‑시간(DTM) 맵을 입력으로 사용해, 다중 에코 상태 네트워크(ESN)와 다양한 읽기층(Ridge Regression, SVM, Random Forest)을 결합한 경량 손동작 인식 프레임워크를 제안한다. Soli 데이터셋(11 클래스)에서 98.84%의 정확도와 Dop‑NET 데이터셋(4 클래스)에서 기존 딥러닝 모델을 능가하는 성능을 달성하면서도 학습·추론 비용을 크게 절감한다.

상세 분석

이 연구는 레이더 기반 HGR 분야에서 기존 딥러닝 접근법이 안고 있던 높은 연산량 문제를 근본적으로 해결하고자 한다. 핵심 아이디어는 고정된 무작위 가중치를 갖는 Reservoir Computing 구조인 ESN을 활용해 시계열 특성을 고차원 상태 공간에 매핑하고, 출력층만을 학습함으로써 역전파를 통한 비용을 제거하는 것이다. 특히, 레이더 신호를 범위‑시간(RTM)과 도플러‑시간(DTM) 두 종류의 특징 맵으로 변환함으로써 시간‑공간 및 시간‑주파수 도메인의 정보를 각각 강조한다. 단일 ESN에 모든 맵을 통합하면 모달리티 간 간섭이 발생할 수 있다는 점을 인식하고, 저자들은 각 맵을 독립적인 작은 Reservoir에 입력하는 다중‑Reservoir ESN 구조를 설계했다. 이 설계는 (1) 각 모달리티별 특성을 보존, (2) 개별 Reservoir의 규모를 작게 유지해 전체 연산량을 감소, (3) 병렬 처리로 풍부한 표현력을 확보한다는 장점을 제공한다.

Reservoir의 동적 특성은 누수율(α)과 스펙트럼 반경(ρ)으로 조절되며, 저자는 메모리 길이와 안정성 사이의 트레이드오프를 고려해 ρ≈0.9, α≈0.3 수준을 선택했다. 상태 업데이트는 tanh 비선형 함수를 사용해 포화 효과를 유도하고, 최종 상태 벡터를 모든 Reservoir에서 연결(concatenate)하여 하나의 고차원 특징 벡터 r을 만든다. 이 r에 대해 네 가지 읽기층을 실험했는데, (i) L2 정규화된 Ridge Regression(RR L)은 폐쇄형 해를 제공해 학습 속도가 빠르고, (ii) 비선형 변환을 추가한 RR N은 tanh 변환을 통해 비선형 경계 학습을 가능하게 한다. (iii) RBF 커널 SVM은 마진을 최대화해 일반화 성능을 높이며, (iv) 300개의 트리를 갖는 Random Forest는 고차원 특징에 대한 강인성을 제공한다.

실험은 두 개의 공개 데이터셋을 대상으로 수행되었다. Soli 데이터셋은 60 GHz FMCW 레이더로 4개의 수신 안테나에서 수집된 2,750개의 11클래스 샘플을 포함한다. 각 안테나별로 RTM과 DTM을 추출해 총 8개의 입력 맵을 생성하고, 다중 Reservoir에 병렬 입력한다. 교차 검증, Leave‑One‑Subject‑Out, Leave‑One‑Session‑Out 등 다양한 평가 프로토콜에서 제안 방법은 기존 CNN‑LSTM, ResNet‑18 기반 모델을 능가했으며, 특히 RR L과 RR N은 0.5 ms 이하의 추론 시간을 기록해 실시간 임베디드 적용 가능성을 입증했다. Dop‑NET 데이터셋(4클래스, 마이크로‑도플러 맵만 제공)에서는 단일 Reservoir ESN을 사용했지만, SVM 읽기층과 결합해 98.9% 이상의 정확도를 달성, 기존 LSM 기반 방법과 동등하거나 더 높은 성능을 보였다.

연산 복잡도 측면에서 ESN은 입력 차원(N_in)과 Reservoir 노드 수(N)만큼의 행렬 곱셈을 수행하므로, GPU 없이도 CPU 기반 임베디드 보드에서 실시간 처리 가능하다. 또한, 학습 단계에서 출력 가중치만 최소제곱 해를 구하면 되므로 대규모 데이터에 대한 반복적인 역전파가 필요 없으며, 메모리 사용량도 크게 감소한다. 이러한 특성은 차량 내부 인포테인먼트, 로봇 팔 제어, 착용형 디바이스 등 전력·연산 제한이 있는 환경에서 레이더 기반 HGR을 실용화하는 데 큰 장점을 제공한다.

요약하면, 이 논문은 (1) 레이더 신호의 물리적 특성을 살린 효율적인 전처리(RTM/DTM), (2) 모달리티 간 간섭을 최소화한 다중 Reservoir 설계, (3) 다양한 읽기층을 통한 유연한 성능 최적화, (4) 실험을 통한 검증을 통해 기존 딥러닝 기반 HGR보다 높은 정확도와 낮은 연산 비용을 동시에 달성한 점에서 의미가 크다. 향후 연구는 Reservoir 규모 자동 최적화, 하드웨어 가속(예: FPGA) 구현, 그리고 멀티모달(음성·영상·레이다) 융합에 ESN을 확장하는 방향으로 진행될 수 있다.