확률적 파라미터 불확실성을 고려한 LQR 최적화: 다항 혼돈 기반 그래디언트 방법

초록

본 논문은 시간 불변 확률적 파라미터 불확실성을 갖는 선형 시스템에 대해, 다항 혼돈 이론(PCT)을 이용해 고차원 결정론적 대리 모델을 구성하고, 구조화된 상태 피드백 게인을 직접 최적화하는 1차 그래디언트 하강법을 제안한다. 제안 알고리즘은 선형 수렴을 보이며, PCT 근사 오차가 任意의 양의 정수 p에 대해 O(N⁻ᵖ)로 알제브라적으로 감소함을 증명한다. 수치 실험을 통해 기존의 BMI 기반 방법보다 계산 효율성이 크게 향상됨을 확인한다.

상세 분석

본 연구는 확률적 파라미터 불확실성을 가진 선형 시스템의 LQR 문제를 직접적인 정책 최적화 관점에서 재구성한다. 핵심 아이디어는 다항 혼돈 이론(PCT)을 활용해 원래의 무한 차원 확률 시스템을 유한 차원의 고차원 선형 시불변(LTI) 대리 시스템으로 변환하는 것이다. 이 과정에서 상태 변수 x(t,ξ)를 N차 다항 기저 ϕ_N(ξ)와 계수 행렬 Z_N(t)로 전개하고, Galerkin 투영을 통해 동역학을 A_N와 B_N라는 기대값 기반 행렬로 집약한다. 결과적으로 얻어지는 대리 시스템(식 21)은 구조화된 피드백 K가 I_{N+1}⊗K 형태로 적용되는 형태이며, 이는 기존 BMI 기반 설계에서 발생하는 비선형 행렬 부등식 제약을 회피한다.

대리 시스템의 LQR 비용 ˆJ_N(K)는 Lyapunov 방정식(식 26)의 해 P_N(K)를 이용해 트레이스 형태로 표현된다. P_N(K)와 Y_N(K) (식 28)의 존재와 유일성은 A_{N,c}(K)의 Hurwitz성에 의해 보장되며, 이는 안정 가능한 피드백 집합 ˆS_N을 정의한다. 논문은 벡터화와 Kronecker 연산을 이용해 P_N(K)의 미분을 명시적으로 구하고, 이를 통해 비용 함수의 그래디언트 ∇ˆJ_N(K)를 식 (31) 형태로 도출한다. 이 그래디언트는 RK와 B_N^T P_N(K) 등 시스템 행렬과 현재 피드백 K만을 사용해 계산 가능하므로, 매 반복마다 두 개의 Lyapunov 방정식(식 26, 28)만을 풀면 된다.

알고리즘의 수렴 분석에서는 비용 함수가 L-smooth하고 강볼록성은 없지만, PCT 기반 근사가 충분히 정밀(N→∞)하면 비용 표면이 충분히 매끄러워져 선형 수렴률을 보인다. 정리 2에서는 단계 크기 α를 적절히 선택하면 ‖K^{t+1}−K*‖ ≤ (1−cα)‖K^{t}−K*‖ 형태의 선형 수렴을 증명한다. 또한, PCT 근사 오차가 O(N⁻ᵖ)로 감소한다는 결과는 기존 Monte‑Carlo 기반 도메인 랜덤화가 O(N^{-1/2})에 머무는 것과 비교해 훨씬 빠른 수렴을 의미한다.

계산 복잡도 측면에서, 기존 BMI 기반 방법은 매 반복마다 비선형 행렬 부등식(또는 SDP) 서브문제를 해결해야 하며, 차원 증가에 따라 NP‑hard 특성을 드러낸다. 반면 제안된 그래디언트 방법은 매 반복마다 두 개의 Lyapunov 방정식(선형 연립방정식)만을 풀면 되므로, O((N+1)n_x)^3 정도의 다항 시간 복잡도를 가진다. 대규모 시스템이나 높은 차수의 PCT 적용에서도 실용적인 계산 시간을 유지한다는 점이 큰 장점이다.

수치 실험에서는 2차 및 3차 다항 혼돈 전개를 사용한 예제와, 10차 전개까지 확장한 고차원 시스템을 테스트하였다. 결과는 제안 알고리즘이 BMI 기반 솔버에 비해 10~100배 빠른 수렴을 보이며, 최적 비용 역시 거의 동일하거나 약간 개선되는 것을 확인한다. 특히 불확실성 분포가 비대칭이거나 비선형 의존성을 가질 때도 PCT 기반 근사가 정확히 작동함을 실험적으로 입증한다.

요약하면, 본 논문은 (1) 확률적 파라미터 불확실성을 다항 혼돈으로 효율적으로 정량화, (2) 구조화된 피드백 형태를 유지하면서도 BMI 없이 직접 그래디언트 최적화를 수행, (3) 선형 수렴과 알제브라적 근사 오차 감소율을 이론적으로 증명, (4) 실험을 통해 기존 방법 대비 현저한 계산 효율성을 입증한다는 네 가지 핵심 기여를 제공한다.