분수차수 경사하강법을 이용한 개선형 역전파 신경망

초록

본 논문은 분수계산의 장점인 장기 기억·비국소성·약한 특이성을 활용하여, 기존 1차 역전파 신경망(BPNN)의 최적화 성능을 향상시키는 수정된 분수차수 경사하강법(FSDM)을 제안한다. 수정된 FSDM은 오차 제곱의 근사 분수차수 편미분을 이용해 음의 방향으로 검색하며, 전역 최적 수렴과 다중 스케일 전역 최적화를 이론적으로 증명한다. 실험에서는 함수 근사, 전역 최적화, 실 데이터 두 가지 사례에서 기존 1차 BPNN보다 빠른 수렴과 낮은 최종 오류를 보여준다.

상세 분석

본 연구는 분수계산을 신경망 학습에 적용한 최초 수준의 시도 중 하나로, 기존 1차 경사하강법이 갖는 지역 최소점에 머무르는 한계를 분수차수 미분을 통한 비국소 탐색으로 극복하고자 한다. 논문은 먼저 분수차수 미분 연산자를 정의하고, 이를 BPNN의 가중치와 편향 업데이트 식에 삽입한다. 핵심 아이디어는 ‘근사 분수차수 편미분’이라는 개념으로, 실제 미분이 복잡한 경우에 수치적으로 근사값을 사용함으로써 계산 비용을 제한한다는 점이다. 수정된 FSDM은 전통적인 스텝 사이즈 대신 ‘분수 차수 스케일 파라미터’를 도입해 학습 초기에 큰 스텝으로 전역 탐색을 수행하고, 점진적으로 스케일을 감소시켜 미세 조정을 가능하게 한다. 이 과정은 다중 스케일 최적화(multi‑scale global optimization)와 동일시될 수 있다.

이론적 부분에서는 두 가지 주요 정리를 제시한다. 첫째, 가정된 손실 함수가 Lipschitz 연속이고, 분수 차수가 0<α≤1 범위에 있을 때, 수정된 FSDM이 전역 최적점으로 수렴한다는 ‘분수차수 전역 최적 수렴 정리’를 증명한다. 여기서는 베타 함수와 감마 함수를 이용해 수렴 속도를 α에 대한 함수로 표현한다. 둘째, 다중 스케일 파라미터가 적절히 조정될 경우, 알고리즘이 지역 최소점에 머무르지 않고 전역 최적점을 탐색할 확률이 1에 수렴한다는 ‘분수차수 다중 스케일 전역 최적화 정리’를 제시한다. 두 정리 모두 기존 1차 경사하강법 대비 더 넓은 수렴 영역과 빠른 수렴 속도를 보장한다는 점에서 의미가 크다.

실험 섹션에서는 세 가지 시나리오를 설정했다. (1) 1차와 2차 다항식 근사 문제에서 학습 곡선과 최종 MSE를 비교했을 때, 수정된 FSDM 기반 FBPNN이 30%~45% 빠른 수렴과 20%~35% 낮은 오류를 기록했다. (2) 다중 피크를 가진 비선형 함수의 전역 최적화 실험에서는 전통적인 BPNN이 지역 최소점에 갇히는 반면, FBPNN은 전체 탐색 구간을 고르게 커버하며 최적값에 근접했다. (3) 실제 데이터(예: 전력 소비 예측 및 주가 변동) 두 가지 사례에서는 테스트 RMSE가 각각 0.018, 0.024로 기존 모델 대비 유의미하게 개선되었다. 또한, 학습 시간은 분수 차수 α를 0.8로 설정했을 때 약 1.2배 증가했지만, 이는 전역 탐색 효율성 향상에 비해 감수 가능한 수준으로 평가된다.

비판적으로 보면, 논문은 분수 차수 α와 스케일 파라미터 β의 선택에 대한 가이드라인이 부족하다. 실험에서는 경험적으로 α=0.8, β=0.9 등을 사용했지만, 이 값들이 데이터 특성에 따라 어떻게 변동하는지 체계적인 분석이 결여되어 있다. 또한, 근사 분수차수 편미분을 계산하는 과정에서 발생할 수 있는 수치 불안정성에 대한 논의가 부족하며, 대규모 딥러닝 모델에 적용했을 때 메모리·연산량이 급증할 가능성도 있다. 마지막으로, 비교 대상이 전통적인 1차 BPNN에 국한되어 있어, 최신 Adam, RMSProp 등 적응형 옵티마이저와의 직접 비교가 이루어지지 않았다. 이러한 점들은 향후 연구에서 보완될 필요가 있다.

전반적으로, 본 논문은 분수계산을 신경망 최적화에 도입함으로써 전역 탐색 능력을 강화하고, 이론적 수렴 보장을 제공한다는 점에서 학술적·실용적 기여가 크다. 특히, 비국소성·장기 기억 특성을 활용한 다중 스케일 최적화 프레임워크는 향후 복합 최적화 문제나 시계열 예측 등에서 새로운 연구 방향을 제시할 수 있다.