컨볼루션 신경망 가속을 위한 기준 기반 프루닝 프레임워크

초록

본 논문은 다양한 프루닝 기준을 통합하고 비교할 수 있는 프레임워크인 Combine을 제안한다. 사용자는 프루닝 대상 레이어, 기준 함수, 정적·진행형 적용 방식, 임계값을 자유롭게 설정해 CNN을 효율적으로 경량화할 수 있다. VGG‑유사 모델에 적용해 최대 79 % 필터를 제거하면서 정확도는 유지하거나 향상시키고, 연산량을 최대 68 % 감소시켰다.

상세 분석

Bonsai 논문은 최근 CNN 모델이 크기와 연산량 면에서 임베디드 및 멀티스레드 환경에 부적합해지는 문제를 프루닝 기법으로 해결하고자 한다. 기존 연구들은 각기 다른 “프루닝 기준(criterion)”을 제시했지만 구현이 통일되지 않아 재현성과 비교가 어려웠다. 이를 해결하기 위해 저자들은 Combine이라는 프레임워크를 설계했으며, 핵심 설계는 네 가지 축으로 요약된다. 첫째, 프루닝 가능한 레이어를 명시적으로 구분한다. 컨볼루션과 완전연결(Dense) 레이어는 가중치 텐서 구조가 다르지만, 각각을 “필터”라는 동일 개념으로 추상화해 동일한 절차로 다룰 수 있게 했다. 둘째, 기준 함수를 모듈화한다. 논문에서는 표준편차, 범위, 평균 절대값, 최대 절대값 네 가지 간단한 통계량을 기본으로 제시했으며, 이들 함수는 f: R^D→R 형태로 정의돼 각 필터에 점수를 부여한다. 셋째, 정적(static)과 진행형(progressive) 적용 방식을 선택하도록 한다. 정적 방식은 모든 레이어에 대해 한 번에 기준을 계산해 빠르게 프루닝하지만, 이전 레이어가 제거된 후의 가중치 재분배 효과를 반영하지 못한다. 반면 진행형 방식은 레이어를 순차적으로 프루닝하면서 매 단계마다 기준을 재계산해 보다 정확한 필터 중요도를 반영한다. 넷째, 단일 임계값 t 을 통해 기준 점수가 낮은 필터를 일괄 제거한다. 임계값 선택은 작은 검증 샘플로 손실 함수를 측정해 “threshold function”을 그린 뒤, 손실이 급격히 상승하기 전의 평탄 구간을 찾아 자동화한다. 알고리즘 1·2는 이러한 흐름을 의사코드로 명확히 제시한다. 실험에서는 세 가지 VGG‑계열 모델(A: 컨볼루션 중심, B: 균형형, C: 완전연결 중심)을 MNIST와 CIFAR‑10 데이터셋에 각각 학습시킨 뒤, 다양한 기준·레이어 조합을 적용했다. 결과는 모델 B에서 79 % 필터를 제거해도 정확도가 99 % 수준을 유지했으며, 연산량 감소율은 68 %에 달했다. 또한, 기준에 따라 프루닝 효율이 크게 달라짐을 보여, 특정 모델·데이터셋에 최적의 기준을 선택하는 것이 중요함을 강조한다. 프레임워크는 Keras 기반으로 구현돼 기존 모델에 손쉽게 통합할 수 있으며, 제한된 연산 자원을 가진 환경에서도 빠른 프루닝이 가능하도록 설계되었다. 다만, 현재는 정적·진행형 외에 동적 프루닝이나 구조적 재학습을 포함하지 않으며, 복합적인 하드웨어 제약(예: 메모리 대역폭)까지는 고려하지 않는다. 향후 연구에서는 자동화된 기준 탐색, 하드웨어‑인식 최적화, 그리고 비선형 기준 함수(예: 학습 기반 중요도) 등을 확장할 여지가 있다.