연속 증분 학습과 삭제를 지원하는 소형 확률 신경망 기반 자동 패턴 분류기

초록

본 논문은 하이퍼파라미터 튜닝 없이 데이터 한 번만 순차적으로 처리해 구조와 파라미터를 자동 결정하는 소형 확률 신경망(CS‑PNN)을 제안한다. 제안 알고리즘은 새로운 샘플이 오분류될 때만 은닉 유닛(RBF)을 추가하고, 클래스가 사라지면 해당 서브넷을 삭제함으로써 연속적인 클래스 증분 학습(IIL·CIL)과 클래스 삭제(CDL)를 효율적으로 수행한다. 9개의 공개 데이터셋 실험에서 CS‑PNN은 원본 PNN보다 은닉 유닛 수가 크게 감소했음에도 MLP와 동등하거나 우수한 정확도를 보였으며, 연속 학습·삭제 상황에서도 안정적인 성능을 유지한다.

상세 분석

본 연구는 확률 신경망(PNN)의 구조적 특성을 활용해 연속적인 증분 학습과 삭제 작업을 단순화한다는 점에서 의미가 크다. 기존 PNN은 모든 학습 샘플을 은닉층에 그대로 저장해야 하므로 메모리와 연산량이 급증하고, 과적합 위험이 있다. 이를 해결하기 위해 저자들은 “컴팩트‑사이즈 PNN(CS‑PNN)”이라는 변형 모델을 설계했으며, 핵심 아이디어는 다음과 같다. 첫째, 은닉 유닛의 반경(σ)을 고정값이 아니라 현재 클래스 수(k)와 최대 거리(d_max)로 동적으로 정의한다. σ = d_max / k 로 설정함으로써 새로운 클래스가 추가될 때마다 반경이 자동 조정되어 기존 유닛의 커버리지가 적절히 확장된다. 둘째, 하이퍼파라미터 θ(새 유닛 추가 기준)를 완전히 제거하고, 오분류가 발생했을 때만 새로운 RBF를 삽입한다. 이는 기존 연구에서 제시된 “활성도 임계값” 방식보다 직관적이며, 데이터 흐름에 따라 네트워크가 스스로 성장한다. 셋째, 클래스 삭제 시에는 해당 클래스에 연결된 서브넷 전체를 제거한다. 이는 RBF‑출력 연결이 0/1 이진값으로 구성된 구조적 특성 덕분에 복잡한 가중치 재조정 없이도 가능하다. 알고리즘 1‑4는 각각 구축·재구축, 인스턴스‑단위 삭제, 클래스‑단위 삭제, 테스트 과정을 명확히 정의하고, d_max 계산을 피드포워드와 병렬 처리해 추가 연산 비용을 최소화한다. 실험에서는 UCI와 MNIST 등 9개 데이터셋을 사용해 세 가지 작업(표준 분류, 클래스 증분 학습, 연속 삭제·증분 학습)을 수행했으며, CS‑PNN은 원본 PNN 대비 은닉 유닛 수를 평균 60% 이상 감소시켰음에도 정확도는 MLP와 거의 동등하거나 일부 데이터셋에서는 더 우수했다. 특히 클래스 증분 학습(CIL)과 클래스 삭제(CDL) 상황에서 성능 저하가 거의 없었으며, 이는 네트워크가 구조적으로 유연하게 확장·축소되기 때문이다. 전체적으로 이 논문은 “하이퍼파라미터 없이 자동으로 성장·축소되는 확률 신경망”이라는 새로운 패러다임을 제시하며, 메모리·연산 제약이 큰 임베디드 시스템이나 연속 학습이 요구되는 실시간 애플리케이션에 실용적인 솔루션을 제공한다.