분산강인 베이지안 확산 제어의 이중성 및 정책 평가

초록

본 논문은 파라미터 불확실성을 가진 확산 제어 문제에서, 사전(프라이어) 오차에 대비한 분산강인 베이지안 제어(DRBC)를 제안한다. KL 발산을 이용한 사전 주변집합을 정의하고, 강력한 이중성 정리를 통해 내재된 최소화 문제를 저차원 최적화로 변환한다. 이를 기반으로 무작위 다중레벨 몬테카를로(rMLMC) 추정기를 활용한 정책 평가와 구조화된 정책 파라미터화에 의한 학습 알고리즘을 개발한다. 합성 LQ 예제와 실제 포트폴리오 데이터에서 기존 베이지안 및 강인 제어 대비 과도한 보수성을 완화하면서도 견고한 성능을 확인한다.

상세 분석

논문은 연속시간 확산 제어 모델을 전제로, 관측되지 않는 잠재 파라미터 B에 대해 사전 µ를 부여한다. 전통적인 플러그인 방식은 파라미터 추정 오차에 취약하고, 순수 베이지안 접근은 사전이 잘못 지정될 경우 성능 저하를 초래한다. 이를 보완하기 위해 저자들은 사전 µ를 KL 발산 제한 δ 이내에서 적대적(어드버서리)하게 변형하는 DRBC 프레임워크를 도입한다. 핵심 기여는 두 단계로 요약된다. 첫째, 고정 정책 π에 대해 사전 최악화 문제인 inf_{ν∈U_KL(µ,δ)} ∫ Z_π(b) ν(db) 를 라그랑주 승수 λ를 이용한 로그-지수 변환으로 재표현하여 sup_{λ≥0}