생물학적 학습 규칙에 스킵 연결이 필수인가

본 논문은 “생물학적 학습 규칙에 스킵 연결이 필수인가”라는 질문을 중심으로, 기존에 역전파와 비교해 성능이 뒤처졌던 두 가지 대표적인 생물학적 학습 규칙, 즉 무작위 피드백 정렬(Fixed‑Feedback Alignment, FA)과 차이 목표 전파(Difference Target Propagation, DTP)를 재평가한다. 저자들은 먼저 생물학적 plausibility(생물학적 타당성)와 현재 딥러닝에서 널리 쓰이는 스킵·밀집 연결(residual, dense) 사이의 연관성을 고찰한다. 뇌의 피질층, 특히 VI층이 I층으로 직접 입력을 받는 구조와, 마우스 뇌의 메소스케일 연결망에서 관찰되는 로그‑정규 분포의 장거리 연결을 예시로 들어, 실제 신경계에서도 스킵 연결이 존재한다는 점을 강조한다. 연구 방법은 크게 두 부분으로 나뉜다. 첫째, 네트워크 아키텍처를 네 가지 형태로 설계한다. 전통적인 전방 전파 전용 다층 퍼셉트론(NN)과 컨볼루션 네트워크(ConvNet), 그리고 각각에 대해 모든 층을 서로 연결하는 밀집 네트워크(DN, DenseConvNet)이다. 두 번째는 학습 규칙을 세 가지로 설정한다. 표준 역전파(BP), FA, DTP이며, 각각을 위 네 가지 아키텍처에 적용해 총 12가지 실험군을 만든다. 하이퍼파라미터 탐색은 학습률(1e‑5~1e‑1), L2 정규화(1e‑5), 배치 크기(128), 조기 종료 시점(20k~1M), 층 수(3~10) 등을 포괄한다. 각 조합에 대해 10‑fold 교차 검증을 수행하고, 최적 하이퍼파라미터를 선택해 테스트 정확도를 기록한다. 실험 결과는 두 가지 핵심적인 패턴을 보여준다. 첫째, 깊이가 증가함에 따라 전통적인 NN 및 ConvNet에서는 정확도가 급격히 감소한다. 이는 특히 sigmoid 활성화 함수에서 뚜렷하게 나타나며, BP와 마찬가지로 FA와 DTP도 동일한 현상을 보인다. 반면, DN과 DenseConvNet에서는 깊이가 늘어나도 정확도가 97~99% 수준으로 유지된다. 이는 밀집 연결이 상위 층의 신호를 직접 하위 층에 전달함으로써 그래디언트 소실을 방지하고, 목표 신호가 효과적으로 전파되기 때문이다. 둘째, 하이퍼파라미터 민감도 분석에서 FA와 DTP는 NN/ConvNet에서는 학습률·에포크·깊이 조합에 따라 성능 편차가 크게 나타난다. 특히 3~5층 깊이에서는 정확도 차이가 5% 이상까지 벌어졌다. 그러나 DN과 DenseConvNet에서는 동일한 학습 규칙이라도 하이퍼파라미터 변화에 거의 영향을 받지 않으며, 대부분의 조합에서 98% 이상의 정확도를 기록했다. 이는 밀집 연결이 학습 규칙 자체의 불안정성을 보완해 주는 역할을 함을 시사한다. 논의 부분에서는 이러한 결과를 바탕으로, 기존에 “생물학적 학습 규칙은 딥러닝에 적용하기 어렵다”는 인식이 구조적 요소를 무시했기 때문이라고 주장한다. 뇌의 장거리 스킵 연결이 정보 전달 효율을 높이는 메커니즘과 유사하게, 인공 신경망에서도 스킵·밀집 연결을 도입하면 FA와 DTP 같은 규칙이 역전파와 동등한 성능을 낼 수 있다. 또한, 로그‑정규 분포의 스킵 연결이 실제 뇌에서 관찰된다는 점을 들어, 향후 연구에서는 이러한 통계적 연결 패턴을 인공 모델에 직접 매핑하고, ImageNet과 같은 대규모 데이터셋에서의 확장성을 검증할 필요가 있음을 강조한다. 결론적으로, 스킵·밀집 연결은 생물학적 학습 규칙의 성능을 크게 향상시키고, 하이퍼파라미터에 대한 강인성을 부여한다는 점에서 핵심적인 설계 요소임을 입증한다. 이는 신경과학적 사실과 딥러닝 기술을 통합하는 새로운 연구 방향을 제시한다.