모델프리 LQR을 위한 그래디언트 방법의 수렴성 및 샘플 복잡도 분석

초록

본 논문은 연속시간 무한 Horizon 선형 이차 레귤레이터(LQR) 문제를 모델프리 환경에서 풀기 위해, 그래디언트 흐름(GF)과 전진 오일러 이산화에 기반한 그래디언트 하강(GD)의 지수 안정성을 증명한다. 또한 두 점을 이용한 무작위 탐색(Random Search, RS) 알고리즘에 대해, ε-정밀도를 달성하는 데 필요한 시뮬레이션 시간과 함수 평가 횟수가 모두 O(log (1/ε))임을 이론적으로 제시한다.

상세 분석

이 논문은 연속시간 LQR 문제를 직접적인 피드백 게인 K의 최적화 문제로 재구성하고, 비볼록성에도 불구하고 두 가지 핵심 결과를 도출한다. 첫째, 안정적인 초기 K∈S_K에 대해 연속적인 그래디언트 흐름 ˙K=−∇f(K)가 지수적으로 수렴함을 보이며, 이는 Lyapunov 함수로서 LQR 비용 차이 f(K)−f(K*)를 이용해 증명한다. 여기서 핵심은 Polyak‑Łojasiewicz(PL) 부등식을 활용해 비볼록 함수라도 전역적인 수렴률 ρ>0을 확보한다는 점이다. 둘째, 전진 오일러 스키마를 적용한 이산화 그래디언트 하강(K_{k+1}=K_k−α∇f(K_k))이 충분히 작은 스텝 사이즈 α를 선택하면 동일한 지수 수렴률 γ를 유지한다. 이때 α는 문제 파라미터와 초기 K에 의존하는 상수이며, 안정성 보장을 위해 스텝 사이즈가 시스템 고유값과 비용 행렬 Q,R에 비례하도록 제한한다.

모델프리 설정에서는 정확한 그라디언트를 구할 수 없으므로, 두 점 차분을 이용한 무작위 탐색(RS) 알고리즘을 제안한다. 알고리즘은 구면 위에서 무작위 방향 U_i를 샘플링하고, K±rU_i에 대해 시뮬레이션을 수행해 비용 차이를 측정한다. 이 차분은 기대값이 실제 그라디언트와 일치하도록 설계되었으며, 스무딩 파라미터 r과 샘플 수 N을 적절히 선택하면 편향과 분산을 동시에 제어할 수 있다. 논문은 초기 조건이 서브가우시안 분포를 따를 때, τ≥θ_1 log(1/ε)와 N≥c·(1+β)^4 κ^4 θ_1 log^6 n·n을 만족하면, RS가 ε-정밀도에 도달하는 데 필요한 반복 횟수가 O(log (1/ε))임을 확률적 경계와 함께 증명한다. 특히, 전체 함수 평가 횟수와 시뮬레이션 시간 모두 로그 스케일에 머무르므로, 기존 이산시간 LQR 연구에서 요구된 다항식 복잡도와 비교해 획기적인 효율성을 제공한다.

핵심 기술적 기여는 다음과 같다. (1) 비볼록 LQR 비용을 X와 Y라는 새로운 변수로 재파라미터화해 공동 볼록 함수 h(X,Y)를 정의하고, 이를 통해 PL 부등식 기반의 지수 안정성을 확보한다. (2) 이 재파라미터화와 원래 변수 K 사이의 변환 관계를 정밀히 분석해, 비볼록 원문제에서도 동일한 수렴률을 보장한다. (3) 두 점 차분을 이용한 무작위 탐색의 편향·분산 분석을 통해, 샘플 복잡도와 시뮬레이션 시간 모두 로그 의존성을 갖는 상한을 도출한다. (4) 수치 실험을 통해 이론적 결과가 실제 시뮬레이션에서도 일관되게 나타남을 확인한다. 전체적으로, 이 연구는 모델프리 강화학습에서 연속시간 LQR을 다룰 때, 이론적 수렴 보장과 실용적인 샘플 효율성을 동시에 제공하는 중요한 진전을 제시한다.