제어 벨먼 잔차 최소화의 새로운 이론적 기반

초록

본 논문은 정책 최적화를 위한 제어 벨먼 잔차(CBR)와 소프트 제어 벨먼 잔차(SCBR) 목표함수의 수학적 특성을 체계적으로 분석하고, Clarke 서브디퍼렌셜을 이용한 일반화된 경사 하강법의 수렴성을 증명한다. 또한, CBR이 조각별 2차 형태와 Lipschitz 연속성을 갖는다는 점을 밝혀, 기존 동적 프로그래밍 대비 함수 근사 환경에서의 안정성을 강조한다.

상세 분석

논문은 먼저 제어 벨먼 연산자 T 에 대해 선형 함수 근사 Qθ = Φθ 를 적용한 CBR 목표 f(θ)=½‖T(Φθ)−Φθ‖² 를 정의한다. max 연산자가 포함돼 비선형·비미분 가능하지만, 저자는 f가 조각별 2차(quadratic) 함수이며 연속이고 다항형(partition) Sπ에 따라 구분된다는 사실을 정리한다(정리 1). 각 파티션 Sπ는 특정 결정적 정책 π 에 대응하며, 해당 영역에서는 f 가 단일 2차 형태로 변환돼 기존의 2차 최적화 이론을 적용할 수 있다. 더 나아가 Sπ 가 **동질 반공간(homogeneous half‑space)**이며 **볼록(cone)**임을 증명함으로써, 파라미터 공간에서 정책 전환이 일어나는 경계가 기하학적으로 명확히 정의됨을 보여준다.

다음으로 f를 상한·하한 2차 함수 q₁, q₂ 로 둘러싸는 부등식 q₁(θ) ≤ f(θ) ≤ q₂(θ) 을 제시한다(정리 2). 이 부등식은 최적 파라미터가 ‖Qθ−Q*‖ 을 최소화하는 방향과 일치함을 의미하며, CBR 최소화가 실제 최적 Q* 에 대한 근사와 얼마나 일치하는지를 정량화한다.

비미분 가능성을 다루기 위해 Clarke 서브디퍼렌셜 ∂f(θ) 을 명시적으로 도출한다(정리 3).
∂f(θ)= { Φᵀ(γ P Π_β − I)ᵀ (TQθ − Qθ) | β ∈ conv(Λ(Qθ)) }
여기서 Λ(Q) 는 Q 값이 최대가 되는 정책 집합이며, conv 는 그 볼록껍질을 의미한다. 이 식은 오블리크 투사(oblique projection) 관점을 자연스럽게 도입한다. 즉, 정지점 θ̄ 은 TQθ̄ − Qθ̄ 이 (γ P Π_β̄ − I)Φ 의 범위에 대한 오블리크 투사와 일치한다는 조건 Qθ̄ = Γ_{Φ|Ψ_β̄} TQθ̄ (정리 4)으로 표현된다. 이는 기존 정책 평가에서 사용된 직교 투사를 일반화한 형태이며, 정책 최적화 상황에서도 동일하게 적용 가능함을 보인다.

알고리즘적으로는 최소‖g‖₂인 서브그라디언트 gₖ 를 선택하고, Armijo 규칙에 기반한 백트래킹 스텝 사이즈 αₖ 를 사용한 일반화 경사 하강법을 제안한다(식 6). 최소‖g‖₂ 서브그라디언트는 서브디퍼렌셜 집합에서 가장 작은 노름을 갖는 원소이며, 이는 **거리 dist(0,∂f(θₖ))**와 동일하다. 저자는 이 선택이 항상 감소 방향을 보장하고, 스텝 사이즈가 Armijo 조건을 만족하면 모든 수렴점이 0 ∈ ∂f(θ) 을 만족하는 정지점이 됨을 정리 5를 통해 증명한다.

마지막으로, 소프트 제어 벨먼 연산자 F_λ (soft‑max 기반)를 도입해 SCBR 목표 f_s(θ)=½‖F_λ(Φθ)−Φθ‖² 를 정의한다. F_λ 는 미분 가능하므로 전통적인 그라디언트 하강법을 바로 적용할 수 있다. 논문은 SCBR에 대해 동일한 조각별 2차 구조와 Lipschitz 연속성을 보이고, 이에 기반한 수렴 분석을 제공한다. 실험적 결과는 함수 근사 환경에서 CBR/SCBR 기반 최적화가 **프로젝티드 가치 반복(PVI)**보다 빠르게 근사 최적 정책을 찾아낸다는 점을 확인한다.

전반적으로 이 논문은 제어 벨먼 잔차 최소화라는 오래된 아이디어를 비선형·비미분 가능 최적화 이론, 오블리크 투사, Clarke 서브디퍼렌셜과 결합해 정책 최적화에 대한 새로운 이론적 토대를 제공한다. 이는 함수 근사와 대규모 MDP에서 안정적인 수렴을 보장하면서도, 기존 동적 프로그래밍 기반 방법보다 샘플 효율성과 계산 효율성을 동시에 추구할 수 있는 가능성을 열어준다.