희소한 보상만으로 학습하는 뇌의 비밀, 메타러닝이 찾아낸 3요소 가소성 규칙

초록

생물 신경망은 희소하고 지연된 보상만으로 복잡한 행동을 학습하는데, 이 ‘구조적 신용 할당’ 메커니즘은 미스터리로 남아있었다. 이 연구는 메타러닝 프레임워크를 통해 순환 신경망(RNN)이 생물학적으로 타당한 ‘국소적’ 학습 규칙만으로도 이러한 학습을 성공적으로 수행할 수 있는 3요소 가소성 규칙들을 발견했다. 내부 루프에서 국소 학습을, 외부 루프에서 학습 규칙 자체를 최적화하는 이 방법은 뇌가 어떻게 효율적으로 학습하는지에 대한 새로운 단서를 제공한다.

상세 분석

이 논문의 핵심 기술적 기여는 생물학적 제약(국소성, 희소/지연 피드백) 하에서 작동하는 학습 규칙의 공간을 메타러닝으로 체계적으로 탐색했다는 점이다. 표준 역전파 기반 학습(BPTT)은 비대칭 연결과 비국소 정보를 필요로 하여 생물학적 타당성이 낮다. 저자들은 이 문제를 ‘아래로부터(bottom-up)’ 접근하여 해결했다. 즉, 학습 규칙을 사전에 설계하는 대신, 규칙 자체의 매개변수를 메타 최적화의 대상으로 삼았다.

구체적인 방법론에서 주목할 점은 다음과 같다:

1. 3요소 학습 규칙의 매개변수화: 각 시냅스의 가소성 변화는 사전-사후 신경활동 및 시냅스 크기 등 순수 국소 정보의 다항식 함수로 표현된다. 여기서 ‘세 번째 요소’는 시냅스 적격성 흔적과 보상 예측 오차의 곱으로 구현된 보상 신호이다.
2. 이중 학습 루프 구조: 내부 루프(생물학적 훈련)에서는 매개변수화된 국소 규칙으로 RNN 가중치가 업데이트된다. 외부 루프(메타 훈련)에서는 여러 에피소드에 걸친 누적 보상을 최대화하도록 학습 규칙의 매개변수(θ)를 최적화한다.
3. 탄젠트 전파를 통한 학습: 전체 학습 궤적(수백 번의 시행)을 통해 역전파하는 것은 계산 비용이 너무 크다. 따라서 저자들은 REINFORCE 추정기와 ‘탄젠트 전파’를 결합한 효율적인 기울기 추정 방식을 채택했다. 이는 네트워크 상태, 적격성 흔적, 가중치 행렬에 대한 민감도(탄젠트)를 순방향으로 전파하여 메타 기울기를 계산한다.

이 프레임워크를 통해 발견된 학습 규칙들은 단순한 헤비안/안티헤비안 규칙을 넘어서, 신경 표현과 학습 궤적에 있어 정교한 차이를 보이는 다양한 규칙군을 형성했다. 이는 생물 뇌에서도 서로 다른 신경 회로나 학습 문맥에 따라 서로 다른 가소성 메커니즘이 작동할 수 있음을 시사한다. 궁극적으로 이 연구는 “생물학적으로 타당한 학습 규칙은 어떤 형태인가?“라는 근본 질문에 대해, 이론적 가정이 아닌 메타 최적화를 통해 실증적인 답을 찾고자 한 시도로 평가할 수 있다.