위험 민감 경로 적분 제어

초록

본 논문은 연속 시간·연속 공간의 비선형 확률 시스템에 대해 기존 경로 적분 제어 기법을 위험 민감 형태로 확장한다. 기대 비용 대신 지수 가중 비용을 최소화함으로써 위험 회피·추구 행동을 조절할 수 있다. 선형‑이차형(LQ) 문제를 넘어 다중극점 제어와 같은 복합 상황에서도 위험 민감성이 어떻게 작용하는지를 실험을 통해 보여준다.

상세 분석

경로 적분 제어는 확률 미분 방정식으로 기술되는 시스템의 최적 제어를, 마르코프 연쇄의 확률적 경로에 대한 가중 평균으로 변환한다. 핵심은 비용 함수가 제어와 상태에 대해 선형-지수 형태가 아니라, 제어가 시스템에 미치는 영향을 “제어‑노이즈” 항과 결합해 라플라시안 형태의 해밀턴-자코비 방정식을 선형화한다는 점이다. 이때 얻어지는 파라미터 θ는 “온도”와 유사하게 확률적 탐색 범위를 조절한다.

위험 민감 제어는 전통적인 기대 비용 최소화 대신, 비용의 지수 기대값  E