보상 조절 모터 학습을 위한 병렬 피질·기저핵 경로 모델

초록

본 논문은 기존의 완전 감독 학습에 의존하는 리저버 컴퓨팅을 보상‑조절 강화학습과 무감독 학습을 결합한 새로운 알고리즘인 SUPER‑TREX로 확장한다. 두 개의 병렬 경로(탐색 경로와 숙달 경로)를 통해 초기에는 기저핵‑유사 경로가 탐색·보상을 이용해 빠르게 오류를 감소시키고, 이후 피질‑유사 경로가 이를 교사 신호로 받아 정확한 출력으로 전이한다. 실험에서는 복잡한 연속 운동 과제와 파킨슨병 모델에 적용해 기존 FORCE와 RMHL보다 우수한 수렴성을 보였으며, 생물학적 motor learning 이론과도 일치한다.

상세 분석

이 연구는 리저버 컴퓨팅 분야에서 가장 큰 제약 중 하나인 “완전 감독” 요구를 근본적으로 재구성한다는 점에서 혁신적이다. 기존 FORCE 알고리즘은 목표 시계열 f(t)를 직접 제공받아 오류 e(t)=z(t)‑f(t)를 계산하고, RLS 기반으로 읽기 가중치 W를 빠르게 최적화한다. 그러나 실제 동물의 운동 학습은 목표가 명시적으로 주어지지 않으며, 보상 신호 하나만으로 학습이 진행된다. 이를 반영해 보상‑조절 Hebbian 학습(RMHL)이 제안되었지만, 복잡한 연속 운동에서는 탐색 노이즈가 과도하게 확대돼 수렴이 불안정했다.

SUPER‑TREX는 두 개의 독립적인 출력 경로를 도입한다. 탐색 경로(z₁)는 RMHL과 동일하게 보상‑조절 플라스티시티와 탐색 노이즈 η를 사용해 총 오류 e를 최소화한다. 여기서 핵심은 탐색 경로의 출력 자체가 숙달 경로(z₂)의 교사 신호가 된다는 점이다. 숙달 경로는 FORCE와 유사하게 RLS(또는 단순히 P=I)로 학습하지만, 목표 오류 대신 z₁을 목표로 삼는다. 따라서 숙달 경로는 “z₁ → 0”이 되도록 가중치를 조정하고, 결과적으로 전체 출력 z = z₁ + z₂가 목표 f에 근접한다.

이 구조는 생물학적 이론과도 일맥상통한다. 초기 학습 단계에서 기저핵(베이스갱글리아)은 도파민‑의존 보상 신호에 의해 강하게 활성화되어 탐색을 주도한다. 학습이 진행되면 피질‑유사 회로가 점차 이 신호를 내재화하고, 기저핵의 의존도가 감소한다는 ‘자동화(automatization)’ 가설을 구현한다. 논문은 또한 파킨슨병 모델(도파민 결핍)에서 탐색 경로가 손상될 경우 초기 학습이 크게 저하되고, 이미 학습된 숙달 경로는 비교적 유지된다는 실험 결과를 재현함으로써 모델의 생리학적 타당성을 검증한다.

알고리즘적 측면에서 주목할 점은 다음과 같다. 첫째, 탐색 경로의 학습 규칙 τ₁·dW₁/dt = Φ(ĥe)·ĥz·rᵀ는 완전히 로컬이며, 사후 필터링된 오류와 출력만을 사용한다. 둘째, 숙달 경로의 RLS 업데이트는 전통적인 전역 행렬 P를 필요로 하지만, 저자들은 P를 단위 행렬로 대체해 완전 로컬 학습으로 전환할 수 있음을 제시한다(학습 속도는 감소하지만 여전히 수렴). 셋째, 전체 오류가 일정 수준 이상으로 상승하면 탐색‑→숙달 전이율을 점진적으로 감소시키는 ‘소프트 스레시홀드’ 메커니즘을 도입해 불안정한 전이를 방지한다.

실험에서는 (1) 파라미터화된 나비 곡선을 따라 펜을 움직이는 연속 제어 과제, (2) 복잡한 다관절 로봇 팔의 궤적 재현, (3) 파킨슨병 모델에서의 학습 및 재학습 상황을 테스트했다. 모든 경우에서 SUPER‑TREX는 FORCE가 적용 불가능한 보상‑전용 설정과 RMHL이 수렴하지 못하는 고차원 연속 과제 모두에서 성공적으로 목표를 달성했으며, 학습 곡선은 초기 탐색 단계에서 급격히 오류가 감소하고, 이후 숙달 단계에서 미세 조정되는 두 단계형 패턴을 보였다.

결론적으로, 이 논문은 “보상‑조절 탐색 + 교사‑신호 기반 숙달”이라는 두 단계 학습 메커니즘을 통해 리저버 컴퓨팅을 생물학적 motor learning에 보다 근접하게 만든다. 이는 뇌‑기계 인터페이스, 재활 로봇, 그리고 신경과학 이론 검증에 있어 새로운 설계 원칙을 제공한다.