단순화된 신경망을 이용한 패턴 분류

초록

본 논문은 가중치 가지치기(pruning) 기법을 활용해 인공신경망의 구조를 단순화하고, 핵심 입력·은닉 유닛과 연결만 남겨 패턴 분류 성능을 유지하면서 해석 가능성을 높이는 방법을 제안한다. 여러 벤치마크 실험을 통해 제안 방법이 일반화 능력을 크게 손상시키지 않으며, 모델 복잡도와 학습·추론 비용을 현저히 감소시킴을 확인하였다.

상세 요약

이 연구는 기존의 다층 퍼셉트론(MLP) 구조가 높은 차원의 가중치 매개변수 때문에 “블랙 박스”로 인식되는 문제를 해결하고자, 가지치기 알고리즘을 중심으로 네트워크 단순화 전략을 설계하였다. 먼저, 학습이 완료된 완전 연결 신경망에 대해 각 가중치의 절대값 크기를 기준으로 중요도를 평가한다. 중요도가 낮은 가중치를 순차적으로 제거하면서, 연결이 끊긴 입력 노드와 은닉 노드를 자동으로 식별하고 삭제한다. 이 과정에서 네트워크의 손실 함수 값이 급격히 상승하지 않도록, 가중치 재조정 및 미세 튜닝을 반복한다.

핵심적인 기술적 기여는 다음과 같다. 첫째, 가중치 중요도 측정에 단순 절대값 외에 민감도(gradient) 정보를 결합해, 학습 초기에 작은 값이지만 학습 진행 중에 급격히 변화하는 가중치를 보존한다. 둘째, 가지치기 단계에서 “연결성 유지 제약”(connectivity preservation constraint)을 도입해, 은닉층 내부의 최소 연결 구조를 보장함으로써 과도한 구조 붕괴를 방지한다. 셋째, 최종적으로 남은 네트워크는 입력 차원 감소와 은닉 유닛 수 감소를 동시에 달성하므로, 연산 복잡도와 메모리 요구량이 크게 낮아진다.

실험에서는 UCI 머신러닝 저장소의 여러 표준 데이터셋(예: Iris, Wine, Breast Cancer, Sonar)과 이미지 기반 패턴 인식 과제(CNN 기반 전처리 후 MLP 적용)를 대상으로, 원본 네트워크와 가지치기 후 네트워크의 정확도, F1 점수, 파라미터 수, 추론 시간 등을 비교하였다. 결과는 대부분의 경우 9095% 수준의 정확도를 유지하면서 파라미터 수를 7090% 감소시켰으며, 특히 작은 데이터셋에서는 과적합 위험이 감소해 일반화 성능이 오히려 향상되는 현상이 관찰되었다.

이 논문의 의의는 단순히 모델 압축을 넘어, 신경망 내부 구조를 시각화하고 해석 가능한 형태로 변환함으로써, 도메인 전문가가 중요한 입력 특성을 파악하고, 모델 신뢰성을 검증할 수 있는 기반을 제공한다는 점이다. 또한, 실시간 임베디드 시스템이나 모바일 디바이스와 같이 연산 자원이 제한된 환경에서도 높은 분류 성능을 유지할 수 있는 실용적인 솔루션으로 활용 가능하다.