시선 중심 시각 변환으로 CNN 분류·위치 정확도 향상

초록

본 논문은 로그‑극 변환을 이용해 입력 영상을 시선 중심(포베이트) 형태로 사전 처리하고, 이를 기존 CNN에 적용함으로써 분류 정확도는 유지하면서 스케일·회전에 대한 강인성을 높이고, 고정점 이동에 민감한 새로운 saliency 맵을 통해 객체 위치 추정을 가능하게 한다는 점을 보였다.

상세 분석

이 연구는 인간 및 포식동물의 시각 시스템에서 관찰되는 ‘포베이트(retinotopic) 구조’를 인공 신경망에 도입하는 방법론을 제시한다. 핵심 아이디어는 입력 이미지를 로그‑극 좌표계(log‑polar space)로 변환하는 전처리 레이어를 삽입하는 것이다. 로그‑극 변환은 픽셀 밀도를 중심부에서는 고해상도로, 주변부에서는 지수적으로 감소시키는 비선형 매핑으로, 수학적으로는 (θ, ρ) = (arctan (y/x), log √(x² + y²)) 로 정의된다. 이 변환은 회전(θ 변화)을 수평 이동, 줌(ρ 변화)를 수직 이동으로 분리시키므로, 회전·스케일 변형이 CNN 내부에서 단순한 평행 이동으로 처리된다.

구현 측면에서는 기존 ResNet‑50, VGG‑16 등 오프‑더‑쉘프 모델 앞에 1×1 컨볼루션으로 차원 맞춤을 수행한 뒤, 로그‑극 변환을 적용하고, 변환된 텐서를 다시 CNN에 입력한다. 변환 과정은 미분 가능하도록 구현되어 역전파가 가능하며, 학습 단계에서 고정된 변환 파라미터(중심점 좌표)만을 조정한다. 실험에서는 ImageNet‑1k와 CIFAR‑100 두 데이터셋을 사용해, 동일한 학습 스케줄과 데이터 증강 정책 하에 원본 이미지와 로그‑극 변환 이미지를 각각 학습시켰다.

결과는 두드러진다. 기본 정확도는 원본과 거의 차이가 없으며(ResNet‑50 기준 Top‑1 76.3 % vs 75.9 %), 그러나 회전(±45°)·스케일(0.5×2×) 변형에 대한 테스트 정확도는 로그‑극 모델이 47 %p 정도 더 높았다. 이는 변형이 로그‑극 공간에서 평행 이동으로 변환되기 때문에, 기존 CNN의 translation invariance 특성을 그대로 활용할 수 있기 때문이다. 또한, 고정점(시선) 위치를 임의로 이동시켰을 때 출력 클래스 확률이 급격히 변하는 현상을 관찰했으며, 이 변화를 이용해 입력 이미지의 ‘시선 민감도 지도’를 계산했다. 이 지도는 기존 Grad‑CAM·Smooth‑Grad 등 gradient 기반 saliency와 높은 상관관계를 보였으며, 특히 물체 중심부를 정확히 강조하는 특성이 있었다. 이를 활용해 별도 객체 검출 헤드 없이도 bounding box를 추정하는 간단한 후처리(가장 높은 민감도 영역을 중심으로 1:1 비율 박스)로 mAP를 0.62(원본 0.48)까지 끌어올렸다.

생물학적 해석 측면에서는 포베이트 구조가 ‘시선 중심 우선 처리’를 구현함으로써 시각 탐색 효율을 높인다는 가설을 인공 시스템에 그대로 적용한 사례라 할 수 있다. 로그‑극 변환은 시각 피질에서 관찰되는 ‘시선 고정점 중심의 비선형 맵핑’과 수학적으로 일치하므로, 인간 시각 시스템이 자연스럽게 회전·스케일 불변성을 얻는 메커니즘을 모델링한다는 점에서 신경과학‑AI 교차 연구에 의미가 크다.

한계점으로는 고정점이 사전에 알려져야 한다는 전제와, 주변부 해상도가 크게 감소함에 따라 작은 물체 검출이 어려워질 수 있다는 점을 들 수 있다. 또한, 로그‑극 변환 자체가 연산 비용이 비교적 높으며, GPU 메모리 사용량이 약 1.2배 증가한다. 향후 연구에서는 동적 고정점 추정(eye‑tracking 기반)과 멀티‑스케일 로그‑극 피라미드 구조를 도입해 이러한 제약을 완화할 방안을 모색한다.