다중스케일 피셔 커널을 이용한 CNN 활성화 통합 이미지 표현

초록

본 논문은 사전 학습된 CNN에서 다중스케일 밀집 활성화를 효율적으로 추출하고, 이를 스케일별 정규화를 적용한 피셔 커널(Fisher Vector)으로 집계하여 이미지 표현을 강화한다. 제안 방법은 기존 단일 활성화 벡터 대비 MIT Indoor‑67에서 17.76%·PASCAL VOC 2007에서 7.18 mAP의 성능 향상을 달성한다.

상세 분석

이 연구는 전통적인 로컬 디스크립터 기반의 Bag‑of‑Words, VLAD, Fisher Vector와 같은 전역 이미지 표현이 갖는 기하학적 불변성은 유지하면서, CNN이 제공하는 중간 수준의 의미 정보를 효과적으로 활용하고자 한다. 핵심 아이디어는 두 단계로 구성된다. 첫째, 기존 CNN의 완전 연결층(Fully‑Connected)을 동일한 파라미터를 가진 컨볼루션 레이어로 교체함으로써, 입력 이미지가 원본 크기보다 클 경우 공간적으로 정렬된 다수의 로컬 활성화 벡터를 한 번의 순전파만으로 추출한다. 이를 통해 4 410개의 밀집 활성화를 0.46 초라는 실시간에 가까운 속도로 얻을 수 있다(표 1). 둘째, 이렇게 얻은 다중 스케일 활성화들을 차원 축소(PCA) 후, 각 스케일별로 별도의 피셔 벡터를 계산하고 ℓ2 정규화 후 평균 풀링한다. 이때 스케일별 정규화(scale‑wise normalization)를 적용함으로써, 작은 스케일에서 과도하게 많은 활성화가 전체 표현을 지배하는 현상을 방지한다. 실험적으로, 단순히 모든 활성화를 하나의 피셔 벡터에 합치는 naïve 방식은 성능이 급격히 저하되지만, 제안한 다중스케일 피라미드 풀링(MPP)은 스케일 증가에 따라 정확도가 꾸준히 상승하고 포화점에 도달한다(그림 4). 또한, VLAD 대신 Fisher Vector를 사용했을 때 큰 차이가 없으며, 핵심 성능 향상은 스케일‑와이즈 정규화와 평균 풀링에 기인한다는 점을 확인하였다. 최종적으로, MIT Indoor 67, PASCAL VOC 2007, Oxford‑102 Flowers 등 세 가지 벤치마크에서 기존 CNN 단일 활성화, 평균 풀링, VLAD 기반 방법들을 크게 앞선 결과를 보이며, 제안 방법이 범용 이미지 표현으로서 강력함을 입증한다.