동적 궤적 기반 최적화로 순환 신경망 학습

초록

본 논문은 투사 기울기 시스템(PGS)과 몫 기울기 시스템(QGS)을 결합한 동적 궤적 기반 최적화 기법을 제안한다. 이 방법은 최적화 문제의 허용 영역을 탐색하고, 그 안에서 지역 최소점을 찾아 비용이 가장 낮은 해를 전역 최소점으로 선정한다. Lyapunov 이론을 이용해 지역 최소점의 안정성을 증명하고, 측정 오차가 존재할 때에도 안정성을 유지함을 보인다. 실험 결과는 기존 유전 알고리즘 및 역전파(EBP) 방식보다 우수한 학습 성능을 입증한다.

상세 분석

이 연구는 순환 신경망(RNN)의 가중치 최적화를 위해 전통적인 경사 하강법이 갖는 지역 최소점에 머무르는 한계를 극복하고자, 동적 시스템 이론을 활용한 새로운 탐색 메커니즘을 설계하였다. 핵심 아이디어는 두 종류의 동적 시스템, 즉 투사 기울기 시스템(PGS)과 몫 기울기 시스템(QGS)을 순차적으로 적용함으로써 문제의 제약조건을 만족하는 허용 영역(feasible region)을 정확히 정의하고, 그 내부를 연속적인 궤적으로 탐색하는 것이다. PGS는 현재 점을 제약면에 투사시켜 제약을 만족하도록 강제하고, 그 방향으로 기울기를 따라 이동한다. 이 과정에서 시스템은 제약식이 만족되는 초평면 위에 머무르며, 가능한 해 집합을 축소한다. 이후 QGS는 정의된 허용 영역 내에서 목적함수의 기울기를 기반으로 새로운 궤적을 생성한다. QGS는 PGS가 만든 제한된 공간을 더 세밀히 탐색하여 지역 최소점을 탐지한다.

논문은 이러한 두 단계가 결합될 때, 전통적인 무작위 탐색(예: 유전 알고리즘)보다 효율적으로 전역 최적점에 근접할 수 있음을 수학적으로 증명한다. 특히 Lyapunov 함수 설계를 통해 각 지역 최소점이 동적 시스템의 안정적인 평형점임을 보이고, 외부 교란(측정 오차) 하에서도 시스템이 다시 해당 평형점으로 수렴한다는 강인성을 제시한다. 이는 RNN 학습 과정에서 발생할 수 있는 데이터 노이즈나 파라미터 초기화 오류에 대한 내성을 의미한다.

실험에서는 표준 시계열 예측 및 패턴 인식 과제를 대상으로, 제안된 방법을 기존 유전 알고리즘(GA)과 전통적인 역전파(EBP)와 비교하였다. 결과는 제안 기법이 수렴 속도가 빠르고, 최종 손실값이 낮으며, 과적합을 방지하는 일반화 성능에서도 우수함을 보여준다. 특히 복잡한 비선형 동적 특성을 가진 데이터셋에서 GA가 탐색 비용이 크게 늘어나는 반면, 동적 궤적 기반 방법은 시스템 자체가 탐색 경로를 자동으로 조정하므로 계산 효율성이 크게 향상된다.

이러한 장점에도 불구하고, PGS와 QGS의 수치적 구현에 필요한 미분 연산과 시스템 파라미터(예: 시간 스텝, 수렴 기준)의 선택이 결과에 민감하게 작용한다는 점이 한계로 지적된다. 따라서 실제 적용 시에는 문제 특성에 맞는 파라미터 튜닝이 필수적이며, 대규모 네트워크에 대한 확장성 검증이 추가로 요구된다.