추상학습을 통한 인간지능 구현

초록

본 논문은 인간 지능의 핵심 요소인 내재적 동기, 통합 네트워크, 제한된 복잡성을 추상학습에 결합한다. 사전 할당된 추상 뉴런을 갖는 파티션 구조와 제약 최적화 모델을 제시하고, 네트워크 진화 알고리즘 ONE을 통해 MNIST에서 저전력, 지식 공유, 지속 학습을 실현한다.

상세 분석

ONE 프레임워크는 기존 딥러닝이 직면한 다중 과제 학습, 전이 학습, 소수 샷 학습, 그리고 재앙적 망각 문제를 근본적으로 해결하려는 시도이다. 핵심 아이디어는 ‘추상(Abstraction)’을 명시적 학습 목표로 설정하고, 이를 위해 네트워크를 두 부분으로 분할한다. 입력‑인식 부분인 ‘인지(cognition) 파트’는 과제에 무관한 추상 뉴런을 생성·진화시키며, ‘결정(decision) 파트’는 각 과제마다 별도의 완전 연결 층을 두어 이미 학습된 추상을 선택한다. 이 구조는 인간이 하나의 뇌로 다양한 과제를 수행하면서 지식을 재사용하는 메커니즘을 모방한다.

표현 측면에서 저자는 ‘추상 뉴런’이라는 개념을 도입한다. 각 뉴런은 입력 공간 전체에 대한 서브네트워크를 의미하며, 활성화 여부는 입력에 따라 동적으로 결정된다. 제약식 A1·A2는 한 입력에 대해 각 층에서 활성화되는 뉴런 수와 각 뉴런의 출력 연결 수를 제한함으로써 서브네트워크의 크기와 중복을 제어한다. 이는 추상의 다양성을 보장하면서도 전체 용량을 효율적으로 사용하게 만든다. 또한 A3·A4는 동일 카테고리의 입력에 대해 활성화되는 추상 뉴런 수를 제한해 설명의 단순성을 강제한다. 이러한 제약은 인간이 복잡한 현상을 소수의 개념으로 요약하는 과정과 일맥상통한다.

목표 함수는 두 부분으로 구성된다. 첫 번째는 각 과제 k에 대한 손실 L(k)이며, 두 번째는 추상 뉴런의 엔트로피 기반 효과성 측정이다. 엔트로피 H(k)_i는 뉴런 i가 각 클래스에 얼마나 편향되어 활성화되는지를 나타내며, 낮은 엔트로피를 가진 뉴런을 선택(e(k)_i=1)하도록 최소화한다. 이는 ‘효과성’ 제약을 수치화한 것으로, 특정 과제에 유용한 추상만을 골라내어 결정 파트에 연결한다. 제약 A5·A6은 각 과제당 선택되는 뉴런 수를 고정하고, 선택되지 않은 뉴런의 가중치를 0으로 강제함으로써 파라미터 공유와 과제 간 간섭을 최소화한다.

ONE의 학습 알고리즘은 전통적인 경사 하강법이 구조를 최적화하지 못한다는 점을 인식하고, ‘성장(growth)’, ‘경쟁(competition)’, ‘소멸(extinction)’이라는 세 가지 생물학적 메커니즘을 도입한다. 성장 단계에서는 무작위 연결 추가를 통해 새로운 서브네트워크를 탐색하고, 경쟁 단계에서는 활성화 빈도와 효율성을 기준으로 제한된 자원을 가장 유망한 서브네트워크에 할당한다. 소멸 단계에서는 성능이 낮거나 중복된 서브네트워크를 제거한다. 이러한 진화적 탐색은 제약식에 의해 지속적으로 평가되며, 최종적으로는 제한된 자원 하에서 다양하고 단순하며 효과적인 추상 집합을 확보한다.

실험은 MNIST 데이터셋을 이용해 다중 분류 과제를 순차적으로 학습한다. 결과는 세 가지 인간‑유사 지능 특성을 보여준다. 첫째, 각 과제마다 전체 네트워크 중 활성화되는 뉴런 비율이 10% 이하로 낮아 에너지 소비가 감소한다. 둘째, 새로운 과제가 추가될 때 기존 추상의 재사용 비율이 점차 증가하고, 새로 생성되는 추상 수는 감소한다는 점에서 전이 학습 효과가 관찰된다. 셋째, ONE은 이전 과제의 파라미터를 고정하거나 재학습하지 않아도 재앙적 망각이 거의 발생하지 않는다. 그러나 실험이 MNIST와 같은 단순 이미지 도메인에 국한되어 있어, 복잡한 시계열·언어·강화학습 환경에서의 확장성은 아직 검증되지 않았다. 또한 제약식 파라미터(V1, V2, S1, S2, E 등)의 설정이 결과에 민감하게 작용할 가능성이 있어 자동 튜닝 메커니즘이 필요하다.

전반적으로 ONE은 추상을 명시적 학습 목표로 삼고, 구조적 진화를 통해 인간 지능의 핵심 요소를 모방하려는 혁신적 시도이다. 제약 기반 최적화와 진화적 구조 탐색을 결합한 점은 기존 메타‑학습·다중 과제 학습 연구와 차별화되며, 향후 더 복잡한 도메인과 대규모 멀티태스크 환경에 적용될 경우 인공지능의 일반화·지식 축적 능력을 크게 향상시킬 가능성을 제시한다.