AlexNet 기반 이미지 정합을 위한 거리 측정법 평가

초록

본 논문은 사전 학습된 AlexNet의 완전 연결층(fc6, fc7) 출력을 지역 특징 기술자로 활용하고, 다양한 거리 측정법(유클리드, 코사인, 맨해튼 등)과 매칭 전략(NN, NNR)을 비교하여 이미지 정합 성능을 정량적으로 평가한다. 실험 결과 코사인 거리와 상관 거리(코릴레이션)가 가장 높은 매칭 정확도와 인라이어 비율을 보였으며, 1‑way NNR(임계값 1.1)과 2‑way NN이 실용적인 선택지로 제시된다. 또한 fc6 특징이 fc7보다 일관되게 더 많은 유효 매치를 제공한다.

상세 분석

이 연구는 전통적인 손으로 만든 특징(SIFT, SURF 등) 대신, 사전 학습된 심층 신경망인 AlexNet을 특징 추출기로 사용하는 새로운 파이프라인을 제안한다. 핵심 아이디어는 이미지의 키포인트를 SIFT로 검출한 뒤, 해당 키포인트 주변 패치를 224×224 크기로 리사이즈하여 AlexNet에 입력하고, fc6와 fc7 층에서 얻은 4096‑차원 벡터를 지역 특징 기술자로 활용하는 것이다. 이렇게 얻은 고차원 특징은 기존의 SIFT 디스크립터보다 풍부한 의미 정보를 담고 있어, 다양한 변형(회전, 스케일, 조명, 압축 등)에 대한 강인성을 기대할 수 있다.

논문은 이러한 특징에 대해 다섯 가지 거리 측정법을 체계적으로 비교한다. 유클리드 거리와 맨해튼 거리(시티 블록)는 절대적인 차이를 측정하는 반면, 코사인 거리와 상관 거리는 벡터 방향성에 초점을 맞춘다. 특히 코사인 거리는 정규화된 내적을 기반으로 하여 크기 차이를 무시하고 방향 유사도만을 평가하므로, 조명 변화나 대비 차이에 민감하지 않다. 실험 결과, 코사인 거리와 상관 거리 모두 다른 거리 측정법에 비해 매칭 정확도(True Positive 비율)와 인라이어 비율(Inlier Ratio)이 현저히 높았다. 이는 AlexNet 특징이 고차원 공간에서 거의 구면형 분포를 이루며, 방향성 정보가 매칭에 더 중요한 역할을 함을 시사한다.

매칭 전략 측면에서는 1‑way 최근접 이웃 비율(NNR)과 2‑way 최근접 이웃(NN)을 중심으로 평가하였다. 1‑way NNR은 한 이미지에서 가장 가까운 이웃을 찾고, 그 거리 비율이 사전 정의된 임계값(1.1) 이하인 경우에만 매칭을 허용한다. 2‑way NN은 양쪽 이미지에서 서로가 가장 가까운 이웃인지 확인한다. 실험 결과, 1‑way NNR이 매칭 수와 정확도 모두에서 우수했으며, 2‑way NN은 매칭 수가 적지만 인라이어 비율이 높은 경향을 보였다. 따라서 실용적인 정합 파이프라인에서는 매칭 수와 정확도 사이의 균형을 맞추기 위해 1‑way NNR을 기본 전략으로 채택하고, 필요에 따라 2‑way NN을 보조적으로 활용할 수 있다.

특징 레이어 선택에 대한 비교에서는 fc6와 fc7을 모두 테스트했는데, fc6이 일관적으로 더 많은 유효 매치를 제공하였다. 이는 fc6이 아직 완전 연결층의 고차원 추상화 단계에 도달하기 전 단계이므로, 보다 지역적인 텍스처와 형태 정보를 보존하고 있어 정합에 유리함을 의미한다. 반면 fc7은 더 높은 수준의 추상화를 수행해 전역적인 객체 의미를 강조하지만, 지역 매칭에서는 정보 손실이 발생할 수 있다.

데이터셋은 Oxford VGG Affine 데이터베이스의 8개 서브셋(각 6장 이미지)으로, 원본 이미지와 다양한 변형(줌, 회전, 조명, 압축, 시점 변화) 이미지가 포함되어 있다. 각 이미지 쌍에 대해 ground‑truth 호모그래피를 이용해 키포인트 오류(K_E_GH, K_E_CH)와 인라이어 비율을 계산했으며, 실험은 MATLAB 환경에서 i7‑2.7 GHz CPU와 8 GB RAM으로 수행되었다. 전체 실험 결과는 코사인 거리와 1‑way NNR(임계값 1.1)이 대부분의 변형 상황에서 최적의 성능을 보였으며, fc6 특징이 fc7보다 전반적으로 우수함을 확인했다.

이 논문의 의의는 두 가지이다. 첫째, 사전 학습된 CNN 특징을 전통적인 키포인트 기반 정합 파이프라인에 자연스럽게 통합함으로써, 기존 손으로 만든 특징이 갖는 한계를 극복하고 다양한 변형에 대한 강인성을 확보했다. 둘째, 거리 측정법과 매칭 전략이 정합 성능에 미치는 영향을 정량적으로 분석함으로써, 실무에서 적용 가능한 구체적인 가이드라인(코사인 거리 + 1‑way NNR + fc6)을 제시했다. 향후 연구에서는 VGG, ResNet 등 다른 네트워크 구조와 학습된 유사도 함수를 직접 학습하는 딥 매칭 모델을 탐색함으로써, 더욱 일반화된 정합 프레임워크를 구축할 수 있을 것으로 기대된다.