모델프리 출력피드백 안정화: 정책경사법 기반 접근

초록

본 논문은 시스템 모델이 알려지지 않은 경우에도, 출력만을 이용해 이산시간 선형 시스템을 안정화시키는 정책경사법(Policy Gradient, PG) 알고리즘을 제안한다. 제안 방법은 제로오더(zeroth‑order) PG 업데이트와 할인(discount) 메커니즘을 결합해, 초기 불안정한 시스템에서도 점진적으로 안정화 가능한 정적 출력피드백(SOF) 제어기를 학습한다. 알고리즘의 수렴성을 분석하고, 전체 샘플 복잡도(시스템 롤아웃 횟수)를 명시적으로 제시한다. 수치 실험을 통해 제안 기법의 실효성을 검증한다.

상세 분석

이 논문은 기존 연구가 전제해 온 “전상태 피드백(full‑state feedback)” 가정에서 벗어나, 관측가능한 출력만을 이용하는 “출력 피드백(output feedback)” 상황을 다룬다. 출력 피드백에서는 비용 함수가 gradient dominance(폴리아크‑Łojasiewicz) 성질을 상실하고, 안정화 가능한 정책 집합이 비연결(disconnected)될 가능성이 있어 전통적인 PG 수렴 이론을 바로 적용하기 어렵다. 저자들은 이러한 난관을 두 단계 전략으로 해결한다. 첫 번째는 시스템을 인위적으로 “감쇠(damped)”시키는 할인 인자 γ∈(0,1)를 도입해, 원 시스템의 불안정성을 완화하고, 할인된 비용 Jγ(K)가 유한하도록 만든다. 이때 γ가 충분히 작으면 √γ·ρ(A−BKC)<1을 만족하는 K가 존재하므로, 안정화 가능한 정책 집합 Sγ가 비어 있지 않음이 보장된다. 두 번째는 제로오더 PG, 즉 두 점 차분(two‑point) 방식을 이용해 ∇Jγ(K)를 추정한다. 이 추정은 실제 시스템 롤아웃을 통해 얻은 비용 차이를 이용해 무차원적인(모델프리) 그라디언트를 근사한다. 논문은 추정 오차가 ‖∇Jγ(K)−ĥ∇Jγ(K)‖≤ε/3이 되도록 충분한 샘플 수를 요구하고, 이 조건 하에 ‖ĥ∇Jγ(K)‖≤2ε/3인 K를 찾으면 실제 그라디언트 노름이 ε 이하가 됨을 보인다.

수렴 분석에서는 로컬 Lipschitz 연속성, 로컬 스무스니스, 그리고 “강안정성(strong stability)” 개념을 활용한다. Lemma 1‑4를 통해 Sγ(ν)라는 비용 하위집합 내에서 Jγ(K)와 ∇Jγ(K)의 상수 L, G, G₀를 명시적으로 바인딩하고, 이를 기반으로 제로오더 PG의 단계 크기 η와 반복 횟수 j를 설계한다. 특히, Lemma 3은 K와 K′ 사이의 거리 D=1/(8κ³ψφ) 이하에서는 P_K, Σ_K가 선형적으로 변한다는 점을 보여, 추정 오차 전파를 정량화한다.

알고리즘 흐름은 외부 루프에서 할인 인자 γ를 점진적으로 1에 가깝게 증가시키며, 내부 루프에서 현재 γ에 대해 위의 조건을 만족하는 K를 제로오더 PG로 최적화한다. γ가 1에 가까워질수록 원 시스템의 안정화 조건 √γ·ρ(A−BKC)<1이 원래 시스템의 안정화와 동등해지므로, 최종적으로 ρ(A−BKC)<1인 정적 출력 피드백 K를 얻는다.

샘플 복잡도 분석에서는 두‑점 차분을 위한 롤아웃 수가 O( (L/ε)²·log(1/δ) ) 형태임을 보이고, 외부 할인 단계 수는 O(log(1/(1−γ₀)))에 비례한다. 전체 복합 복잡도는 시스템 차원 n, 입력 차원 m, 출력 차원 p에 대해 다항식 수준이며, 특히 상태 차원에 대한 의존도가 완화된다는 점이 강조된다.

실험 부분에서는 2‑4 차원 선형 시스템을 대상으로, 무작위 초기 K와 다양한 γ₀ 설정에서 알고리즘이 성공적으로 안정화 정책을 학습함을 보여준다. 비교 대상인 모델 기반 식별‑후 설계 방법과 대비했을 때, 제안 방법은 동일한 샘플 수에서 더 빠른 수렴과 안정성을 보이며, 모델 식별 오류에 민감하지 않다는 장점을 입증한다.

전반적으로 이 논문은 “모델프리 + 출력 피드백”이라는 두 가지 난제를 동시에 해결한 최초의 연구 중 하나이며, 제로오더 PG와 할인 메커니즘을 결합한 설계 프레임워크를 통해 실용적인 샘플 복잡도와 수렴 보장을 제공한다. 향후 비선형 시스템, 시간변화 시스템, 혹은 제한된 센서/액추에이터 환경으로의 확장이 기대된다.