노이즈가 있는 무한시간 할인 비선형 시스템의 일관된 역최적제어

초록

본 논문은 관측 노이즈가 섞인 전문가 시연 데이터를 이용해, 이산시간 무한‑ horizon 할인 MDP의 비용 함수를 일관적으로 복원하는 새로운 역최적제어(IOC) 프레임워크를 제안한다. 약한 Feller 전이 커널, 점유 측도(occupation measure) 기반 최적성 조건, 그리고 관측 노이즈를 고려한 일반화 모멘트 방법(GMM) 추정기를 결합해 convex 최적화 문제로 변환하고, 다항식 근사와 순간(moment) 추정을 통해 수치적으로 해결한다. 알고리즘은 전역 최적성을 보장하고, 통계적·점근적 일관성을 증명한다.

상세 분석

이 논문은 기존 연구에서 강한 Feller 가정에 의존하던 점을 완화하고, 전이 커널이 약한 Feller만 만족하는 비선형 확률 시스템에도 적용 가능한 역최적제어(I​OC) 방법을 설계한다. 핵심 아이디어는 점유 측도(occupation measure) 프레임워크를 이용해 원래의 비선형 무한 차원 최적화 문제(정책의 기대 할인 비용 최소화)를 선형 형태의 무한 차원 선형계획법(LP)으로 변환하는 것이다. 이를 위해 (i) 전문가 정책이 stationary Markov임을 가정하고, (ii) 비용 함수가 사전에 정의된 피처 φ(x,a)와 파라미터 θ의 선형 결합 형태임을 전제한다.

점유 측도 µ는 각 시점 t에서 상태‑행동 쌍 (x_t,a_t)의 기대 지표로 정의되며, 전이 연산자 Q와 마진 연산자 P_x를 이용해 제약식 (P_x−αQ)µ=µ_init 를 얻는다. 이 선형 제약과 비용의 선형 형태는 무한 차원 LP(4)와 그 쌍대 문제(5)를 형성하고, 강한 쌍대성에 의해 KKT 조건이 필요충분함을 보인다. 특히 보완완전성(Complementary slackness) 조건 ⟨ℓ−(P_x−αQ)^*V, µ⟩=0 은 비용 파라미터 θ와 가치 함수 V 사이의 관계를 직접적으로 연결한다.

관측 노이즈가 존재할 경우, 실제 관측 y_t는 진짜 상태‑행동 (x_t,a_t)와 독립적인 잡음 v_t의 합으로 모델링된다. 저자는 이 잡음이 알려진 비퇴화 확률분포 ν를 따른다고 가정하고, 다중 독립 궤적(M i.i.d. trajectories)으로부터 순간(moment)들을 추정한다. 여기서 핵심은 ‘misspecified GMM’ 추정기로, 관측 모델과 시스템 동역학을 동시에 고려한 모멘트 방정식을 구성한다. 이 방정식은 실제 점유 측도의 순간과 관측된 순간 사이의 차이를 최소화하도록 설계되어, 노이즈에 강인한 µ̂ 를 얻는다.

다항식 근사 단계에서는 연속 함수 공간 C(X×A)를 다항식 기반의 유한 차원 서브스페이스로 제한하고, 점유 측도의 순간을 다항식 계수와 연결한다. 결과적으로 원래의 무한 차원 LP는 다항식 계수 θ와 가치 함수 V에 대한 유한 차원 반정수계획(SDP) 혹은 2차 형식(convex) 최적화 문제로 변환된다. 이 최적화는 전역 최소값을 보장하므로 로컬 최소에 빠질 위험이 없으며, 수치 해석을 위한 표준 SDP 솔버와 호환된다.

이론적 측면에서 저자는 다음을 증명한다. (1) 제안된 GMM 추정기가 관측 노이즈가 존재하더라도 점유 측도의 순간을 일관적으로 추정한다. (2) 다항식 근사 차수가 충분히 클 경우, 근사된 최적화 문제의 해가 원래 무한 차원 문제의 해에 점근적으로 수렴한다. (3) 전체 알고리즘은 파라미터 θ̂ 가 실제 θ 로 수렴함을 보장하는 통계적 일관성을 갖는다.

실험에서는 2차 및 3차 비선형 시스템, 그리고 결정론적(weak Feller) 전이와 확률적 전이를 모두 포함한 사례를 제시한다. 노이즈 레벨을 변화시켜도 추정 오차가 급격히 증가하지 않으며, 기존 KKT‑violation 최소화 기반 방법보다 훨씬 안정적인 비용 복원을 보인다.

요약하면, 이 논문은 (i) 약한 Feller 전이 커널을 허용, (ii) 관측 노이즈에 강인한 GMM 기반 순간 추정, (iii) 전역 최적성을 보장하는 convex 최적화, (iv) 점근적·통계적 일관성을 제공하는 일련의 기법을 통합함으로써, 실용적인 비선형 강화학습 및 로봇 시연 복원 문제에 적용 가능한 강력한 역최적제어 프레임워크를 제시한다.