CNN이 위치·스케일 변동을 얼마나 처리할 수 있는가

초록

본 논문은 이미지 분류와 매칭 작업에서 CNN이 위치·스케일·종횡비와 같은 nuisance 변환을 자체적으로 마진화(marginalization)할 수 있는지를 실험적으로 평가한다. 전체 이미지에 바로 적용한 경우와, 객체 제안(바운딩 박스)으로 제한한 경우를 비교했으며, 제안 영역을 여러 스케일로 샘플링·평균화하면 전체 이미지에 비해 오히려 성능이 향상됨을 보였다. 이는 현재의 CNN 구조가 nuisance 변환을 충분히 무시하지 못하고, 제한된 컨텍스트와 적절한 샘플링이 필요함을 시사한다.

상세 분석

이 연구는 CNN이 이론적으로는 컨볼루션과 풀링을 통해 평행이동(translational invariance)을 근사하지만, 스케일·종횡비와 같은 더 복잡한 변환에 대해서는 충분히 불변성을 확보하지 못한다는 가설을 실증한다. 실험은 두 가지 주요 흐름으로 진행된다. 첫째, ImageNet 검증 세트에서 AlexNet과 VGG‑16을 사용해 전체 이미지와 ground‑truth 바운딩 박스(GT) 영역을 각각 입력했을 때의 top‑5 오류를 비교하였다. GT 영역만을 사용하면 컨텍스트가 사라져 오류가 약간 증가하지만, GT 주변에 10픽셀 정도의 여백을 추가하면 오류가 크게 감소한다는 점을 발견했다. 이는 CNN이 물체 주변의 제한된 컨텍스트를 활용한다는 것을 의미한다. 둘째, 제안 영역을 여러 스케일로 샘플링하고, 각 샘플에 대한 클래스 조건부 확률을 평균(anti‑aliasing)함으로써 명시적 마진화를 수행했다. 4개·8개의 도메인 크기로 평균화했을 때 top‑5 오류가 각각 15.96%→14.43%(AlexNet), 16.00%→14.22%(VGG‑16)로 크게 개선되었다. 이는 “domain‑size pooling”이 실제로 정보 손실을 최소화하고, CNN이 내부적으로 수행하는 마진화보다 더 효과적인 샘플링‑평균화 전략임을 보여준다. 또한, EdgeBoxes 기반의 객체 제안을 80개 정도 선택하고, 정보‑이론적 기준(역 Rényi 엔트로피)으로 불필요한 제안을 제거한 뒤 평균화하면, 전체 이미지에 바로 적용했을 때보다 5~15% AP 향상을 달성했다. 실험 결과는 두 가지 중요한 시사점을 제공한다. 첫째, 현재의 CNN 구조는 위치·스케일 변동을 완전히 무시하지 못하고, 제한된 컨텍스트에 크게 의존한다. 둘째, 제안 영역을 적절히 샘플링하고 평균화하는 간단한 후처리만으로도 기존 최첨단 성능을 능가할 수 있다. 이러한 결과는 데이터 처리 불등식(DPI)과도 연결되며, 제안 기반 접근이 “조건부 확률을 평균”함으로써 실제 마진화보다 더 나은 성능을 얻는 것이 가능함을 실증한다.