별 그래프로 공간 시간 표현 탐구: mmWave 레이더 기반 인간 활동 인식

초록

본 연구는 mmWave 레이더의 희소하고 가변 크기의 포인트 클라우드 문제를 해결하기 위해 별 모양 그래프 표현과 DDGNN을 제안합니다. 정적 중심점과 동적 레이더 점들의 관계를 그래프로 모델링하여 인간 활동의 공간-시간 특징을 효과적으로 추출하며, 94.27%의 높은 분류 정확도를 달성했습니다.

상세 분석

이 논문의 핵심 기술적 기여는 mmWave 레이더 데이터의 고유한 한계를 극복하기 위한 새로운 그래프 표현과 신경망 구조에 있습니다. 기존 비전 기반 시스템용 전처리(다운샘플링, 복셀화)나 그래프 구성 방법(전체 점 연결, 프레임 간 연결)은 레이더 데이터의 희소성과 가변 크기 문제에 최적이 아니었습니다.

연구팀이 제안한 ‘별 그래프(Star Graph)‘는 이러한 문제에 대한 우아한 해법입니다. 수동으로 추가된 정적 중심점 하나를 모든 동적 레이더 점에 연결하는 구조로, 복잡한 점 간 관계 대신 모든 점과 중심점의 상대적 관계(고차원 특징)에 집중합니다. 이는 희소한 점들 사이의 직접적인 연결을 계산하는 부담을 줄이면서도 인간 움직임의 공간적 패턴을 포착하는 데 효과적입니다.

더욱 중요한 것은 제안된 DDGNN(Discrete Dynamic Graph Neural Network)이 가변 크기의 그래프 시퀀스를 직접 처리할 수 있다는 점입니다. DDGNN은 각 프레임의 별 그래프를 개별적으로 처리하여 공간 특징을 추출한 후, Bi-LSTM을 통해 시간적 특징을 학습합니다. 이 과정에서 그래프의 크기가 달라도 고정 길이의 특징 벡터로 변환하므로, 포인트 클라우드의 크기를 맞추기 위한 업/다운샘플링이나 제로 패딩과 같은 추가 전처리 단계가 필요 없습니다. 이는 시스템의 효율성과 실용성을 크게 높입니다.

실험 결과, 제안 방식은 PointNet++, PointLSTM, MeteorNet 등 포인트 클라우드 베이스라인과 Tesla-Rapture, MMPointGNN 등 레이더 특화 방법보다 우수한 성능을 보였습니다. 94.27%의 정확도는 Kinect 기반 골격 데이터 정확도(97.25%)에 근접한 수준으로, 레이더만으로도 프라이버시를 침해하지 않으면서 고성능 HAR이 가능함을 입증했습니다. 또한 Raspberry Pi 4에서의 추론 테스트를 통해 리소스 제약 플랫폼에서의 실용 가능성도 확인하였습니다.