모션 인식 기반 적대적 이벤트 생성 프레임워크

초록

본 논문은 이벤트 카메라의 원시 이벤트 스트림을 4차원 포인트 클라우드로 변환한 뒤, 모션 정보를 고려한 확산 기법과 샘플별 학습률 조정을 통해 최소 비용의 적대적 이벤트를 생성하는 MA‑ADV 프레임워크를 제안한다. 고주파 잡음을 완화하고 시공간 일관성을 유지하면서 100 % 성공률을 달성하고, 기존 방어 기법에 대한 강인성도 입증한다.

상세 분석

MA‑ADV는 기존 이벤트 기반 적대 공격이 직면한 두 가지 핵심 난관, 즉 비미분 가능한 프레임 기반 표현과 이벤트의 고주파 잡음 문제를 동시에 해결한다. 먼저 이벤트를 (x, y, t, p) 형태의 포인트 클라우드로 직접 처리함으로써, PointNet++·EventMamba와 같은 3D 포인트 네트워크에 그대로 입력할 수 있다. 이는 기존의 이벤트‑프레임 스택 방식이 갖는 그래디언트 차단을 근본적으로 회피한다는 점에서 큰 의의가 있다.

핵심 기술인 ‘모션‑인식 확산(Motion‑aware Perturbation Diffusion)’은 K‑Nearest Neighbor(KNN) 기반으로 공간·시간 이웃을 정의하고, 각 이웃 간 거리 D와 속도 V를 지수 감쇠 함수(exp(−D/σ_s), exp(−V/σ_t))로 변환해 가중치를 부여한다. 이렇게 얻은 가중치 행렬은 초기 교란 P₀에 대해 공간·시간 평균을 수행함으로써, 잡음이 많은 고주파 성분을 부드럽게 확산시키고, 동시에 물체의 실제 움직임을 보존한다.

또한 샘플별 학습률 조정은 Adam 옵티마이저에 각 샘플의 현재 손실 및 교란 크기를 피드백으로 활용한다. 배치 전체에 동일 학습률을 적용하면 개별 이벤트 스트림의 다양성(예: 이벤트 밀도, 움직임 속도) 때문에 최적화가 불안정해지지만, 샘플‑와이즈 방식은 각 스트림에 맞는 미세 조정을 가능하게 하여 공격 성공률을 유지하면서 교란 비용을 최소화한다.

마지막으로 이진 탐색을 이용한 λ(손실 가중치) 조정은 교란 비용과 분류 손실 사이의 트레이드오프를 자동으로 탐색한다. 전체 파이프라인은 다음 순서로 진행된다: (1) 원시 이벤트 → 포인트 클라우드 변환, (2) 초기 교란 생성, (3) 모션‑인식 확산을 통한 교란 업데이트, (4) 샘플‑와이즈 Adam 최적화, (5) 이진 탐색으로 λ 조정, (6) 최종 교란 적용 후 목표 모델에 입력.

실험에서는 N‑MNIST, DVS‑Gesture, N‑Caltech101 등 대표적인 이벤트 데이터셋에 대해 100 % 성공률을 기록했으며, 기존 PGD‑기반 타임시프트 공격 대비 교란 L₂ norm이 평균 30 % 이상 감소했다. 또한 최근 제안된 이벤트 방어(예: 이벤트 필터링, 시간 윈도우 정규화)에도 높은 회복률을 보이며, 제안 방법이 방어에 강인함을 입증한다.

한계점으로는 현재 프레임워크가 주로 무표적(untargeted) 공격에 초점을 맞추고 있어, 목표 클래스 지정 공격(targeted attack)에서는 추가적인 손실 설계가 필요하다. 또한 KNN 기반 이웃 탐색은 이벤트 수가 매우 많을 경우 계산 비용이 급증하므로, 효율적인 근사 이웃 검색이나 그래프 기반 확산으로의 확장이 요구된다.

전반적으로 MA‑ADV는 이벤트 카메라와 포인트 클라우드 사이의 구조적 유사성을 활용해, 그래디언트 기반 적대 공격을 가능하게 만든 혁신적인 접근이며, 향후 물리적 공격, 실시간 시스템 적용, 그리고 방어 메커니즘 설계에 중요한 연구 토대를 제공한다.