진화된 표현 구조: 마코프 뇌와 전통 신경망의 차이

초록

본 논문은 진화 알고리즘을 이용해 재귀 신경망(RNN), LSTM, 그리고 마코프 브레인(Markov Brain) 세 가지 계산 서브스트레이트를 동일한 기억 기반 과제에 최적화하고, 각 모델이 내부 세계 정보를 어떻게 표현하고 저장하는지를 정보이론적 측정법으로 비교한다. 마코프 브레인은 정보가 제한된 몇몇 노드에 국소화·희소하게 분포되는 반면, RNN과 LSTM은 정보를 모든 노드에 고르게 퍼뜨려 ‘스메어드(smeared)’된 표현을 만든다. 이러한 차이는 노이즈에 대한 내구성에서도 차이를 만들며, 마코프 브레인이 더 높은 로버스트성을 보인다.

상세 분석

이 연구는 인공 지능 시스템의 ‘표현’이라는 개념을 인지 과학에서 차용한 정의로 재구성한다. 즉, 센서 입력 S와 세계 상태 W 사이에 존재하는 내부 상태 B가 얼마나 많은 ‘추가적인’ 정보를 가지고 있는지를 H(W : B | S)라는 조건부 상호정보량으로 정량화한다. 이를 위해 저자들은 세 가지 서브스트레이트—전통적인 재귀 신경망(RNN), 장단기 기억 네트워크(LSTM), 그리고 논문에서 제안된 논리 게이트 기반 마코프 브레인(Markov Brain, MB)—를 동일한 ‘활성 범주 인식(Active Categorical Perception, ACP)’ 과제에 진화시켰다. ACP 과제는 16 × 32 격자 세계에서 크기와 이동 방향이 다른 블록을 회피하거나 잡는 행동을 요구한다. 에이전트는 4개의 센서와 2개의 액추에이터를 가지고 있으며, 내부 상태는 10개의 은닉(또는 숨은) 노드로 구성된다.

진화 과정은 유전 알고리즘을 통해 이루어지며, 각 서브스트레이트마다 유전자를 통해 가중치(ANN, LSTM) 혹은 논리 게이트 연결( MB) 를 인코딩한다. 변이율, 복제·삭제 연산은 동일하게 적용되어 비교 가능성을 확보하였다. 학습이 완료된 후, 저자들은 센서, 내부 상태, 그리고 세계 변수(블록 크기 W_s, 위치 W_l, 이동 방향 W_d)를 시간에 따라 기록하고, 각각을 확률 변수로 간주해 엔트로피와 상호정보를 계산한다.

핵심 결과는 ‘표현 매트릭스 M_{concept, node} = H(W_concept : B_i | S)’ 를 통해 각 노드가 어떤 개념에 대해 얼마만큼 정보를 보유하고 있는지를 시각화한 것이다. 여기서 ‘스메어드(smeared)’ 정도를 두 가지 지표로 정량화한다. 첫째, ‘노드 스메어드니스 S_N’은 하나의 노드가 여러 개념을 동시에 담고 있는 정도를, 둘째, ‘컨셉 스메어드니스 S_C’는 하나의 개념이 여러 노드에 분산된 정도를 나타낸다. 수식 (2)와 (3)에서 각각 최소값을 취해 겹치는 정보를 합산함으로써 계산한다.

실험 결과, MB는 대부분의 정보를 소수의 노드에 집중시켜 S_N·S_C 값이 현저히 낮았다. 반면, RNN과 LSTM은 모든 은닉 노드에 걸쳐 정보를 고르게 퍼뜨렸으며, 특히 LSTM은 연속적인 값(실수)과 복잡한 게이트 구조 때문에 스메어드성이 더욱 크게 나타났다. 이러한 ‘스메어드’ 특성은 외부 노이즈에 대한 민감도로 이어졌다. 저자들은 센서 입력에 확률적 잡음(p) 를 가하여 각 모델의 성능 저하를 측정했으며, MB는 높은 잡음 수준에서도 비교적 안정적인 행동을 유지했지만, RNN과 LSTM은 성능이 급격히 감소했다. 이는 정보가 전역에 퍼져 있을수록 작은 변동에도 전체 표현이 손상되기 때문으로 해석된다.

이 논문은 두 가지 중요한 시사점을 제공한다. 첫째, 진화적 설계가 ‘희소하고 국소화된’ 표현을 자연스럽게 유도한다는 점이다. 이는 인간 두뇌가 특정 피질 영역에 기능을 국소화하는 방식과 유사하며, 인공 시스템에서도 로버스트성을 높이는 설계 원칙이 될 수 있다. 둘째, 현재 딥러닝 모델이 주로 사용하는 ‘전역적’ 표현 방식은 고성능을 달성하지만, 적은 양의 적대적 교란에도 취약하다는 구조적 한계를 드러낸다. 따라서 미래의 인공지능 연구는 정보의 분산 정도와 노이즈 내성을 동시에 고려한 하이브리드 아키텍처 혹은 진화 기반 최적화 방법을 탐색할 필요가 있다.