학습의 열역학 이론 II: 임계기 종료와 지속학습 실패

초록

본 논문은 학습을 파라미터 공간의 전송(map)으로 모델링하고, 유한 시간 학습이 필연적으로 비가역적임을 보인다. 전송 맵의 야코비안이 반복적으로 합성되면서 그 랭크와 특잇값이 감소하고, 이는 “호환 효과적 랭크(compatible effective rank)”라는 지표로 측정된다. 이 지표가 감소하면 이후 과제가 요구하는 자유도보다 부족해져, 새로운 과제를 학습할 경우 반드시 기존 과제의 파라미터 구조를 손상시켜 망각이 발생한다. 즉, 망각은 다중 과제 해가 존재함에도 불구하고, 학습 과정 자체가 재구성 용량을 소모하기 때문에 일어난다.

상세 분석

본 연구는 Part I에서 제시한 “인식 속도 한계(Epistemic Speed Limit, ESL)”를 확장하여, 학습 궤적 자체가 미래 적응성을 제한하는 기하학적 제약을 만든다는 점을 증명한다. 저자들은 학습을 확률분포 qₜ가 파라미터 θ 위에서 이동하는 과정으로 보고, 각 학습 단계 t를 전송 맵 Ψₜ(·; ω) 로 정의한다. 여기서 ω는 미니배치 샘플링 등 알고리즘적 무작위성을 나타낸다. 전송 맵의 야코비안 Jₜ 은 파라미터 미소 변동이 어떻게 전파되는지를 기술하며, 이 야코비안의 특잇값 σᵢ(t) 을 통해 “효과적 랭크” R(t)=exp