GAN 기반 군중 비정상 이벤트 탐지: 정상 패턴 학습과 차이 기반 이상 감지

초록

본 논문은 군중 영상에서 비정상 사건을 탐지하기 위해 정상 프레임과 광학 흐름을 이용해 두 개의 조건부 생성적 적대 신경망(GAN)을 학습한다. 학습된 생성기는 정상 패턴만 재현할 수 있어, 테스트 시 실제 영상과 재구성 영상 사이의 외관·운동 차이를 이용해 비정상 영역을 로컬라이즈한다. UCSD와 UMN 데이터셋에서 프레임‑레벨·픽셀‑레벨 모두 기존 최첨단 방법을 능가하는 성능을 보였다.

상세 분석

이 연구는 군중 영상에서 비정상 이벤트를 탐지하는 새로운 프레임워크를 제시한다. 핵심 아이디어는 정상 데이터만을 사용해 두 개의 조건부 GAN(Conditional GAN)을 학습시키는 것이다. 첫 번째 GAN(NF→O)은 입력 프레임을 받아 해당 프레임의 광학 흐름을 생성하고, 두 번째 GAN(NO→F)은 광학 흐름을 받아 원본 프레임을 복원한다. 두 네트워크 모두 U‑Net 구조의 생성기와 패치 기반 판별기로 구성되며, L1 재구성 손실과 조건부 적대 손실을 동시에 최적화한다. 학습 단계에서는 정상 영상만 사용하므로, 모델은 정상적인 움직임과 외관 패턴을 내재화하게 된다.

테스트 단계에서는 실제 프레임과 광학 흐름을 각각 생성기에 입력해 재구성 영상을 얻는다. 정상 영역에서는 재구성 오류가 작지만, 비정상 객체(예: 차량, 스케이트보드 등)가 등장하면 생성기가 이를 제대로 재현하지 못해 큰 차이가 발생한다. 이러한 차이는 두 가지 형태로 측정된다. ① 광학 흐름 차이 ΔO는 픽셀‑단위 절대 차이로, 움직임 이상을 직접 포착한다. ② 외관 차이 ΔS는 AlexNet의 conv5 특징을 이용해 고수준 의미 차이를 계산한다. ΔS는 저해상도 영상에서도 의미적 변화를 포착하는 데 유리하다. 두 차이는 각각 정규화된 후 λ=2의 가중치를 두고 합산되어 최종 이상 지도 A를 만든다.

실험에서는 UCSD Ped1·Ped2와 UMN 세트에 대해 프레임‑레벨 ROC와 픽셀‑레벨 ROC를 평가하였다. 제안 방법은 프레임‑레벨에서 AUC 0.99, 픽셀‑레벨에서 AUC 0.97을 기록하며, 기존 방법들을 크게 앞섰다. 특히 두 GAN의 단독 사용보다 융합된 결과가 더 높은 정확도를 보였으며, 이는 외관과 움직임 정보를 보완적으로 활용한 효과이다. 실패 사례로는 작은 스케이트보드가 정상 보행자와 유사한 속도로 움직여 재구성 오류가 미미한 경우가 보고되었다.

이 접근법의 장점은 (1) 비정상 데이터가 필요 없으므로 라벨링 비용이 크게 감소하고, (2) GAN의 생성·판별 구조가 데이터 증강과 암묵적 정규화를 제공해 깊은 네트워크를 작은 데이터셋에서도 효과적으로 학습할 수 있다는 점이다. 한계로는 광학 흐름 계산에 의존해 움직임이 미세하거나 정지된 비정상 상황을 놓칠 수 있으며, AlexNet 기반 의미 차이 계산이 사전 학습된 객체 인식 특징에 의존한다는 점이다. 향후 연구에서는 동적 이미지(Dynamic Images)와 같은 다프레임 모션 표현을 도입해 이러한 제한을 보완하고자 한다.