신경망과 궤적 기반 최적화로 비선형 시스템 식별

초록

본 논문은 순환 신경망(RNN)을 이용해 두 개의 난해한 비선형 벤치마크 모델(연속 탱크 시스템과 Bouc‑Wen 모델)을 식별한다. 이를 위해 지역 최소점을 탐색하는 두 가지 전역 최적화 기법, 즉 몫 기울기 시스템(QGS)과 동적 궤적 기반 방법을 적용하였다. 시뮬레이션 결과 두 방법 모두 높은 식별 정확도를 보이며, 복잡한 비선형 동역학 모델의 파라미터 추정에 유효함을 입증한다.

상세 분석

이 연구는 비선형 시스템 식별 분야에서 전통적인 최소제곱법이나 gradient‑based 기법이 지역 최소점에 머무르는 한계를 극복하고자, 전역 탐색 능력을 갖춘 두 종류의 동적 최적화 프레임워크를 도입한 점이 가장 큰 특징이다. 첫 번째 방법인 Quotient Gradient System(QGS)은 목적함수의 기울기를 이용해 연속적인 동역학 시스템을 구성하고, 이 시스템의 궤적을 따라가며 지역 최소점에 수렴하도록 설계되었다. QGS는 수학적으로는 비선형 방정식의 해를 찾는 과정과 동등하게 해석될 수 있어, 초기값에 크게 의존하지 않고 다양한 최소점을 탐색할 수 있다. 두 번째 방법인 Dynamical Trajectory‑Based Methodology는 두 개의 보조 동역학 시스템을 활용한다. 하나는 feasible region(제약조건을 만족하는 파라미터 공간)의 연결 성분을 탐지하고, 다른 하나는 각 연결 성분 내부에서 지역 최소점을 탐색한다. 이중 구조는 전역 최적화 문제를 “연결 성분 탐색 + 지역 최적화”라는 두 단계로 분해함으로써, 복잡한 비선형 제약조건 하에서도 효율적인 탐색을 가능하게 한다.

두 방법 모두 순환 신경망(RNN)을 모델 구조로 채택했는데, RNN은 시간 의존성을 자연스럽게 포착할 수 있어 동적 시스템 식별에 적합하다. 논문에서는 RNN의 가중치를 최적화 변수로 설정하고, 위의 두 동적 최적화 알고리즘을 적용해 파라미터를 학습한다. 실험에 사용된 두 벤치마크는 각각 물리적으로 복잡한 비선형 특성을 가지고 있다. 연속 탱크 시스템은 물 흐름의 비선형 포화와 상호 연결된 두 탱크의 동적 상호작용을 포함하며, Bouc‑Wen 모델은 히스테리시스와 비선형 강성·감쇠 특성을 동시에 나타내는 구조역학 시스템이다. 두 시스템 모두 전통적인 식별 기법으로는 파라미터 공간이 다중극점으로 나뉘어 수렴이 어려운 경우가 많다.

시뮬레이션 결과는 QGS와 동적 궤적 기반 방법 모두 높은 식별 정확도(RMSE가 10⁻³ 이하)를 달성했으며, 특히 초기값이 크게 차이나는 경우에도 안정적으로 수렴한다는 점을 보여준다. QGS는 수렴 속도가 비교적 빠른 반면, 동적 궤적 기반 방법은 복수의 연결 성분을 탐색함으로써 전역 최적해에 더 가까운 해를 찾을 확률이 높다. 또한 두 방법 모두 학습 과정에서 발생할 수 있는 오버피팅을 방지하기 위해 정규화와 교차 검증을 병행하였다. 이러한 결과는 비선형 동적 시스템의 복잡한 파라미터 공간을 효과적으로 탐색할 수 있는 새로운 전역 최적화 도구로서, 기존 gradient‑based 방법을 보완하거나 대체할 가능성을 시사한다.

마지막으로, 논문은 두 방법의 계산 복잡도와 구현 난이도를 비교한다. QGS는 단일 동역학 시스템을 시뮬레이션하면 되므로 구현이 비교적 간단하지만, 시스템 차원과 목적함수의 비선형성에 따라 수치적 안정성이 요구된다. 반면, 동적 궤적 기반 방법은 두 개의 보조 시스템을 동시에 관리해야 하므로 구현이 복잡하지만, 전역 탐색 능력이 뛰어나고 다중 최적해 구조를 명시적으로 파악할 수 있다. 따라서 실제 적용 시 문제의 특성(예: 파라미터 공간의 복잡도, 요구되는 전역 최적성 수준)에 따라 적절한 방법을 선택하는 것이 중요하다.