깊이와 폭이 조화된 다층 퍼셉트론의 최적 학습: 보간 영역에서의 통계 물리학

초록

입력 차원과 비례하는 폭을 가진 다층 퍼셉트론을 교사‑학생 모델로 설정하고, 파라미터 수와 데이터 수가 비슷한 보간(regime)에서 베이즈 최적 학습을 분석한다. 깊이와 비선형성, 유한 폭이 학습 전이와 특수화(specialisation)를 어떻게 좌우하는지 이론적으로 규명하고, 깊은 목표일수록 학습이 어려워짐을 밝혀낸다.

상세 분석

본 논문은 통계 물리학의 도구를 이용해, 입력 차원 d와 동일한 스케일로 폭이 증가하는 다층 퍼셉트론(MLP)의 학습 한계를 정확히 계산한다. 핵심 가정은 교사‑학생(teacher‑student) 설정으로, 학생 네트워크가 교사 네트워크와 동일한 구조와 파라미터 분포를 갖지만, 데이터는 무작위로 생성된 입력‑출력 쌍으로 제공된다. 데이터 수 n과 파라미터 수 P가 O(d) 수준으로 비례하는 ‘보간’ 영역을 집중 탐구함으로써, 모델이 단순히 과적합을 피하는 것이 아니라 실제로 입력 특성을 학습해야 하는 상황을 만든다.

베이즈 최적(또는 평균장) 해를 구하기 위해 복제법(replica method)과 동역학적 자유에너지(dynamical free energy) 계산을 수행한다. 결과적으로 학습 과정은 몇 가지 뚜렷한 전이점(learning transitions)으로 구분된다. 초기 단계에서는 데이터가 부족해 네트워크가 무작위 특성에 머무르며, 평균 제곱오차(MSE)는 교사와 무관한 ‘무지(ignorant)’ 수준에 머문다. 데이터가 일정 수준을 초과하면 ‘특수화(specialisation)’가 시작되는데, 이는 네트워크가 교사의 내부 표현을 점진적으로 복제하기 시작한다는 의미이다.

특수화는 층별·뉴런별로 비균질하게 진행된다. 얕은 층은 먼저 특수화되며, 깊은 층은 상위 층이 만든 특성을 전달받아 점차 학습한다. 이는 ‘전파된 특성 학습(propagated feature learning)’이라고 부를 수 있다. 또한 같은 층 안에서도 일부 뉴런은 빠르게 교사의 가중치와 정렬되는 반면, 다른 뉴런은 여전히 무작위 상태에 머무른다. 이러한 현상은 복수의 ‘부분 특수화 단계(partial specialization phases)’로 설명되며, 각 단계마다 자유에너지의 국소 최소점이 바뀌어 최적화 알고리즘이 다른 지역 최소점에 갇히기 쉬워진다.

깊이(L) 자체도 중요한 역할을 한다. 교사의 깊이가 증가하면 특수화에 필요한 데이터 양이 급격히 늘어나며, 결국 동일한 데이터 양으로는 완전 특수화에 도달하지 못한다. 이는 ‘깊은 목표는 학습이 더 어렵다(deeper targets are harder to learn)’는 결론을 뒷받침한다.

알고리즘적 관점에서, 표준 확률적 경사 하강법(SGD)이나 변형된 Adam 등은 베이즈 최적 해에 도달하기보다는 중간 단계의 비최적 지역 최소점에 머무를 가능성이 크다. 논문은 이러한 현상을 ‘알고리즘적 함정(algorithmic trap)’이라 명명하고, 학습률 스케줄링, 레이어별 정규화, 혹은 사전 훈련된 초기화와 같은 전략이 필요함을 시사한다.

결과적으로, 폭이 입력 차원에 비례하고 파라미터와 데이터가 비슷한 규모일 때, MLP는 단순한 커널(선형화) 행동을 넘어 진정한 특징 학습(feature learning)을 수행한다. 이때 깊이와 비선형성, 그리고 유한 폭이 복합적으로 작용해 학습 전이와 특수화 양상을 결정한다는 점이 통계 물리학적 분석을 통해 명확히 밝혀졌다.