신경망으로 배우는 동물 학습 규칙의 유연한 추론

초록

이 논문은 행동 데이터를 기반으로 동물의 학습 규칙을 비정형적으로 추정하기 위해, GLM 기반 정책 모델에 딥 뉴럴 네트워크(DNN)와 순환 신경망(RNN)으로 학습 업데이트 함수를 매핑한다. 시뮬레이션과 실제 마우스 실험에서 제안 방법이 기존 강화학습 규칙보다 예측 정확도가 높으며, 보상 이력에 따른 비마코프 학습 동역학을 포착한다.

상세 분석

본 연구는 동물 학습을 “정책 = GLM + 가중치 w_t” 형태로 모델링하고, 가중치 업데이트 Δw_t 를 데이터‑드리븐 함수 f_θ 로 정의한다. 첫 번째 접근법인 DNNGLM은 현재 트라이얼의 입력(자극 s_t, 선택 y_t, 보상 r_t, 현재 가중치 w_t)을 두 개의 은닉층을 가진 피드포워드 네트워크에 전달해 Δw_t 를 예측한다. 이 구조는 마코프 가정(업데이트가 현재 트라이얼에만 의존) 하에 학습 규칙을 유연하게 근사하지만, 과거 트라이얼 정보를 직접 활용하지 못한다는 한계가 있다. 이를 보완하기 위해 제안된 RNNGLM은 GRU 기반의 히든 상태 h_t 를 도입해 과거 트라이얼의 정보를 누적하고, 이를 다시 피드포워드 네트워크에 입력해 Δw_t 를 산출한다. 따라서 비마코프적, 즉 보상 연속성이나 선택 패턴 등 장기 의존성을 포함하는 학습 규칙을 모델링할 수 있다.

시뮬레이션에서는 REINFORCE 정책 그래디언트 규칙을 ground‑truth 로 설정하였다. DNNGLM은 Δw_t 가 자극 대비, 현재 가중치 크기, 정답 여부에 따라 어떻게 변하는지를 정확히 복원했으며, 데이터 양이 증가할수록 RMSE 가 급격히 감소해 진정한 학습 규칙에 수렴함을 보였다. 비마코프 상황에서는 과거 3회 보상이 연속된 경우 Δw_t 가 크게 증가하는 패턴을 포함한 변형 REINFORCE 규칙을 사용했으며, RNNGLM만이 이러한 히스토리 의존성을 성공적으로 포착했다. DNNGLM‑history(과거 입력을 직접 피드포워드에 포함)와 비교했을 때도 RNNGLM이 더 일관된 성능을 보였다.

실제 데이터는 International Brain Laboratory(I​BL)에서 수집한 마우스의 시각‑감각 의사결정 학습 세션이다. 각 마우스의 행동 시퀀스를 제외한 나머지 마우스들로 모델을 학습시킨 뒤, 보류된 마우스에 대해 예측 로그우도(log‑likelihood)를 평가하였다. 결과는 DNNGLM과 RNNGLM 모두 기존 REINFORCE 모델보다 유의미하게 높은 로그우도를 기록했으며, 특히 RNNGLM이 DNNGLM‑history를 능가했다. 추정된 가중치 궤적은 PsyTrack(학습‑무관한 심리곡선 추정법)과 매우 유사했으며, 보상 연속성에 따른 가중치 변화가 눈에 띄게 관찰되었다.

추가 실험에서는 (i) 결과‑비대칭이 없는 학습 규칙, (ii) 개체별 혼합 규칙, (iii) 초기 가중치 변동, (iv) 긴 트라이얼 길이 등 다양한 조건에서도 모델의 복원력과 일반화 성능이 유지됨을 확인하였다. 초기 가중치 추정이 부정확할 경우에도 모델이 빠르게 수렴함을 보였으며, 과적합 방지를 위한 교차검증과 신경망의 암시적 정규화 효과가 충분히 작동함을 보고하였다.

이 논문의 주요 기여는 (1) 비정형, 비마코프 학습 규칙을 직접 추정하는 프레임워크 제시, (2) DNN과 RNN을 결합해 정책 = GLM 형태를 유지하면서 학습 규칙의 복잡성을 자유롭게 모델링, (3) 실제 동물 행동 데이터에서 기존 강화학습 모델을 능가하는 예측력 입증, (4) 보상 이력에 기반한 학습 동역학을 정량적으로 해석함으로써 동물 훈련 프로토콜 및 디지털 트윈 구축에 실용적 통찰 제공이다.