최적화 재귀 학습 알고리즘을 활용한 3층 피드포워드 신경망의 MIMO 비선형 시스템 식별

초록

본 논문은 전통적인 역전파와 고정 학습률 방식의 한계를 극복하기 위해, 행렬 연산과 최적화 이론을 기반으로 한 재귀적 학습 알고리즘을 제안한다. 제안 알고리즘은 학습률 선택 문제를 자동화하고, 약한 수렴성을 이론적으로 증명한다. 2입력·2출력 비선형 동적 시스템에 대한 시뮬레이션 실험을 통해 기존 방법 대비 빠른 수렴과 높은 식별 정확도를 확인하였다.

상세 분석

이 논문은 피드포워드 신경망(FFNN) 학습에서 가장 널리 쓰이는 역전파(Back‑Propagation, BP)와 경사하강법의 핵심 문제인 학습률(learning rate) 설정을 근본적으로 재고한다. 고정 학습률을 사용하면 수렴 속도가 느려지거나 발산 위험이 존재하고, 적응형 학습률 기법도 매개변수 튜닝이 필요해 실시간 온라인 학습에 부적합하다. 저자는 이러한 문제를 해결하기 위해 “최적화 재귀 학습 알고리즘”(Optimized Recursive Learning Algorithm, ORLA)을 고안했으며, 핵심 아이디어는 다음과 같다.

1. 행렬 기반 업데이트: 전통적인 BP는 각 가중치에 대해 스칼라 형태의 업데이트 식을 적용한다. ORLA는 전체 가중치 행렬을 하나의 변수로 보고, 오차 함수의 헤시안(Hessian) 근사와 그라디언트 벡터를 동시에 이용해 가중치 행렬을 직접 업데이트한다. 이를 통해 학습률을 행렬 형태의 스케일링 인자로 대체한다.

2. 최적화 이론 적용: 라그랑주 승수와 최소제곱 해법을 이용해 업데이트 식을 유도함으로써, 각 단계에서 실제 손실 함수의 감소량을 최대로 만드는 “최적 학습 스텝”을 계산한다. 결과적으로 학습률 파라미터를 명시적으로 지정할 필요가 없으며, 알고리즘 자체가 자동으로 최적 스텝 크기를 찾아낸다.

3. 약한 수렴성 증명: 저자는 확률적 가정(입력과 잡음이 유한 2차 모멘트를 가진 독립 동일분포) 하에, 제안 알고리즘이 기대값 기준으로 점차 최적 파라미터에 접근한다는 약한 수렴(weak convergence) 정리를 제시한다. 증명 과정에서 Robbins‑Monro 조건과 마르코프 체인 이론을 활용해 수렴 속도와 안정성을 정량화한다.

4. 다층 확장 가능성: 비록 3층(입력‑은닉‑출력) 구조에 초점을 맞추었지만, 행렬 연산 기반 프레임워크는 은닉층을 추가하거나 심층 네트워크에도 그대로 적용 가능함을 논의한다. 이는 기존의 레이어별 학습률 조정 문제를 전체 네트워크 차원에서 통합적으로 해결한다는 의미다.

5. 시뮬레이션 검증: 실험에서는 2입력·2출력 비선형 동적 시스템(예: 비선형 매스‑스프링‑댐퍼 모델)을 대상으로, 전통적인 고정 학습률 BP와 비교하였다. 결과는 ORLA가 초기 가중치에 대한 민감도가 낮고, 수렴 횟수가 약 40% 감소했으며, 최종 식별 오차가 15% 이상 개선됨을 보여준다. 또한, 온라인 학습 환경에서 실시간으로 파라미터를 업데이트하면서도 안정적인 동작을 유지한다.

전체적으로 이 논문은 학습률 선택이라는 실무적 난제를 수학적 최적화와 행렬 연산을 통해 근본적으로 해소하고, 이론적 수렴 보장을 제공함으로써 실시간 MIMO 비선형 시스템 식별에 적합한 새로운 학습 프레임워크를 제시한다.