완전연결층이 CNN 성능에 미치는 영향: 깊이·넓이 데이터셋과의 관계 탐구

초록

본 논문은 이미지 분류에 사용되는 다양한 CNN 구조(얕은·깊은)와 네 개의 대표 데이터셋(CIFAR‑10, CIFAR‑100, Tiny ImageNet, CRCHistoPhenotypes)에서 완전연결(FC) 층의 수와 뉴런 수가 정확도에 미치는 영향을 실험적으로 분석한다. 실험 결과, 얕은 네트워크는 FC 층을 늘릴수록 성능이 크게 향상되지만, 깊은 네트워크는 FC 층을 최소화해도 충분히 높은 정확도를 유지한다. 또한 데이터셋이 “깊다”(클래스 수가 많고 복잡도 높음)면 깊은 CNN이, “넓다”(이미지 해상도·다양성이 큰)면 얕은 CNN에 적절한 FC 층을 추가하는 것이 최적임을 제시한다.

상세 분석

본 연구는 완전연결층(FC layer)이 CNN의 전체 파라미터 양과 일반화 능력에 미치는 역할을 정량적으로 규명하고자 한다. 먼저 저자들은 세 가지 CNN 아키텍처를 설계하였다. CNN‑1은 AlexNet 기반의 5개 Conv 레이어와 단일 FC 출력 레이어를 갖는 비교적 얕은 구조이며, CNN‑2는 VGG‑style 10개 Conv 레이어와 하나의 FC 출력 레이어, CNN‑3은 CIFAR‑VGG 16개 Conv 레이어와 하나의 FC 출력 레이어로 구성된 가장 깊은 모델이다. 각 모델에 대해 FC 레이어의 수(k)를 0~4개(출력 레이어 포함)로 변형하고, 각 FC 레이어마다 ReLU‑BN‑Dropout을 기본 설정으로 적용하였다.

실험은 네 개의 데이터셋에 대해 동일한 학습 프로토콜(초기 학습률 0.1, 250 epoch, SGD‑momentum 0.9, 2‑배 감소)과 동일한 데이터 증강(회전·수평·수직 플립) 하에 진행되었다. 평가 지표는 최종 테스트 정확도이며, 파라미터 수와 메모리 사용량도 함께 기록하였다.

핵심 결과는 다음과 같다. 첫째, 얕은 CNN‑1에서는 FC 레이어를 추가할수록 파라미터가 급증하면서 과적합 위험이 커지지만, 적절한 Dropout과 BN을 적용하면 정확도가 평균 35%p 상승한다. 이는 Conv 레이어가 충분히 복잡한 특징을 추출하지 못해 고차원 특성 공간을 FC 레이어가 보완한다는 가설을 뒷받침한다. 둘째, 중간 깊이의 CNN‑2에서는 FC 레이어 추가 효과가 감소한다. 12개의 FC 레이어는 약간의 성능 향상을 보이지만, 3개 이상이면 파라미터 과다와 학습 불안정이 발생한다. 셋째, 가장 깊은 CNN‑3에서는 FC 레이어를 최소화(출력 레이어만)해도 높은 정확도를 유지한다. 추가적인 FC 레이어는 오히려 성능을 저하시킬 뿐만 아니라 학습 시간과 메모리 소모를 크게 늘린다.

데이터셋 특성에 따른 차이도 뚜렷했다. CIFAR‑10(10클래스, 낮은 복잡도)에서는 얕은 모델에 2~3개의 FC 레이어가 최적이었다. CIFAR‑100(100클래스, “깊은” 데이터)에서는 중간 깊이 CNN‑2에 1개의 FC 레이어가 가장 좋은 결과를 보였으며, 깊은 CNN‑3은 FC 레이어 없이도 경쟁력 있는 정확도를 달성했다. Tiny ImageNet은 이미지 해상도가 상대적으로 높고 클래스가 200개로 “넓은” 특성을 가지므로, 얕은 CNN‑1에 3개의 FC 레이어를 추가했을 때 가장 큰 성능 향상이 관찰되었다. 마지막으로 의료 이미지 데이터셋인 CRCHistoPhenotypes는 클래스가 4개이지만 조직학적 변이가 크기 때문에 “깊은” 데이터셋에 가까웠다. 여기서는 중간 깊이 CNN‑2에 1개의 FC 레이어가 최적이었다.

이러한 결과는 “데이터셋 깊이(클래스 수·복잡도)와 네트워크 깊이(Conv 레이어 수) 사이의 상호보완 관계”를 시사한다. 데이터셋이 깊을수록(클래스가 많고 복잡도가 높을수록) 깊은 Conv 구조가 특징을 충분히 학습하므로 FC 레이어는 최소화하는 것이 효율적이다. 반대로 데이터셋이 넓고 해상도가 높으며 클래스가 비교적 적은 경우, 얕은 Conv 구조가 충분히 복잡한 특징을 추출하지 못하므로 FC 레이어를 통해 비선형 결합 능력을 보강하는 것이 필요하다.

또한 파라미터 효율성 측면에서, FC 레이어는 전체 파라미터의 80% 이상을 차지할 수 있음을 재확인하였다(예: AlexNet에서 58M/60M). 따라서 모델 경량화가 요구되는 모바일·임베디드 환경에서는 깊은 Conv 레이어를 활용하고 FC 레이어를 최소화하는 설계가 바람직하다.

마지막으로 저자들은 실험 코드를 공개함으로써 재현성을 확보했으며, 향후 연구에서는 FC 레이어 대신 글로벌 평균 풀링, 1×1 Conv, 혹은 attention 메커니즘을 도입해 파라미터를 줄이면서도 성능을 유지하는 방안을 탐색할 것을 제안한다.