생체 영감을 받은 계층형 네트워크를 이용한 손글씨 숫자 인식

초록

본 논문은 인간 뇌의 학습·예측 메커니즘을 모방한 계층형 바이오인스파이어드 네트워크인 Inductive Conceptual Network(ICN)를 제안한다. 각 노드는 가변 차수 마코프 모델(VOMM)을 이용해 입력 패턴의 불변성을 학습하고, 최상위 노드의 출력은 전체 입력의 고차원 일반화를 나타낸다. MNIST와 USPS 데이터셋에 적용한 결과 각각 5.73%, 12.56%의 오류율을 기록하며, 기존 딥러닝 모델에 비해 생물학적 타당성을 유지하면서도 경쟁력 있는 성능을 보였다.

상세 분석

ICN은 뇌 피질의 계층적 구조와 시냅스 가소성을 수학적으로 구현한 모델이다. 가장 큰 특징은 각 노드가 가변 차수 마코프 모델(VOMM)을 사용한다는 점이다. VOMM은 고정 차수 마코프 체인보다 더 유연하게 과거 상태의 길이를 조절할 수 있어, 입력 시퀀스의 장기 의존성을 효율적으로 포착한다. 이는 뇌의 뉴런이 과거 스파이크 패턴을 가변적으로 기억하고 재활용하는 방식과 유사하다.

계층 구조는 저수준 노드가 지역적인 특징을 추출하고, 상위 노드가 이러한 특징을 통합해 점점 더 추상적인 표현을 만든다. 논문에서는 4층 구조를 사용했으며, 각 층의 노드 수는 점진적으로 감소한다(예: 784→256→64→1). 이렇게 하면 정보가 압축되면서도 중요한 변동성은 보존된다.

학습 과정은 비지도 방식으로 진행된다. 각 노드는 입력 시퀀스에 대해 VOMM을 학습하고, 다음 단계로 전달할 때는 가장 높은 확률을 가진 상태(예: 0/1 시퀀스)를 출력한다. 최상위 노드의 출력은 전체 이미지에 대한 ‘인디덕티브 컨셉트’를 나타내며, 이를 직접 클래스 라벨에 매핑함으로써 자동 분류가 가능해진다.

실험에서는 MNIST(28×28)와 USPS(16×16) 손글씨 데이터셋을 사용했다. MNIST에서 5.73%의 오류율을 달성했는데, 이는 단순한 구조와 비지도 학습임에도 불구하고 상당히 경쟁력 있는 수치다. USPS에서는 12.56%의 오류율을 기록했으며, 이는 이미지 해상도가 낮아 정보 손실이 크기 때문으로 해석된다.

ICN의 장점은 (1) 생물학적 타당성: 뉴런의 가변 기억과 계층적 통합을 수학적으로 모델링, (2) 파라미터 효율성: VOMM은 필요한 상태만 동적으로 생성하므로 메모리 사용이 최적화, (3) 비지도 학습 가능성: 라벨이 없는 데이터에서도 의미 있는 추상화를 학습한다는 점이다. 반면 한계로는 (1) VOMM 학습 비용이 입력 길이에 따라 급격히 증가할 수 있음, (2) 현재 구현은 고정된 계층 깊이와 노드 수에 의존해 최적 구조 탐색이 어려움, (3) 이미지와 같은 고차원 데이터에 직접 적용할 경우 전처리(예: 1D 시퀀스 변환) 과정이 필요해 실제 적용 범위가 제한될 수 있다.

향후 연구 방향으로는 VOMM의 효율적인 근사 알고리즘 개발, 동적 계층 구조 학습, 그리고 시각 피질의 공간적 연결성을 반영한 2D 컨볼루션형 노드 설계 등이 제시된다. 이러한 개선을 통해 ICN은 뇌의 학습 메커니즘을 더 정밀히 모사하면서도 실용적인 패턴 인식 시스템으로 확장될 가능성이 있다.