확률 미분 제어를 위한 적응형 파티셔닝 학습

초록

본 논문은 무한 연속 상태공간과 연속 행동공간을 갖는 확률 미분 제어 문제에 대해, 드리프트·볼라틸리티·보상을 파티션별로 추정하고 편향이 통계적 신뢰구간을 초과할 때 자동으로 파티션을 세분화하는 모델 기반 적응형 알고리즘을 제안한다. 새롭게 정의한 ‘확장 줌잉 차원’에 기반한 regret 분석을 통해, 차원·보상 성장 차수·시간 horizon 등에 따라 명시적인 상한을 제공한다. 실험에서는 다자산 평균‑분산 포트폴리오와 같은 고차원 금융 문제에서도 효율성을 입증한다.

상세 분석

이 논문은 연속시간 확산 과정의 이산화 모델을 기반으로, 상태 (X_h\in\mathbb{R}^{d_S})와 행동 (A_h\in\mathbb{R}^{d_A})가 각각 무한히 연속적인 경우를 다룬다. 기존 연구는 주로 유한 혹은 구간으로 제한된 상태·행동 공간에 머물렀으며, 보상 함수도 유계라는 가정을 두었다. 여기서는 보상이 다항식 성장((O(|x|^m)))을 허용함으로써 실제 금융·경제 모델에 더 근접한 설정을 제시한다.

핵심 기여는 두 가지 차원에서의 적응형 파티셔닝이다. 첫째, 상태‑행동 공간을 초기에는 거친 격자로 나누고, 각 셀 안에서 드리프트 (\mu_h(x,a))와 볼라틸리티 (\sigma_h(x,a))를 최소제곱 추정한다. 추정 편향이 해당 셀의 신뢰구간(표본 수에 기반한 Hoeffding‑type 경계)보다 크게 나타나면, 셀을 균등히 2‑분할한다. 이렇게 하면 데이터가 많이 모인 영역은 고해상도로, 드물게 방문되는 영역은 저해상도로 유지되어 샘플 효율성을 극대화한다.

둘째, 파티션 구조에 따라 ‘줌잉 차원’(z_{\max,c})를 정의한다. 기존 줌잉 차원은 유계 상태공간에서 컨텍스트‑액션 거리의 Lipschitz 상수와 방문 빈도에 기반했지만, 무한 상태공간에서는 거리와 확률 질량이 동시에 무한히 커질 수 있다. 저자들은 파티션이 확장될 때 각 셀의 ‘볼륨‑가중치’와 ‘보상 성장 차수’를 결합해 새로운 차원을 도출하고, 이를 regret 상한에 직접 삽입한다.

이론적 분석은 크게 네 단계로 구성된다. (1) 드리프트·볼라틸리티 추정에 대한 고차원 마코프 전이 커널의 집중 불평등을 증명한다. 여기서는 Lipschitz 연속성만을 가정하고, 공분산 행렬의 샘플 평균에 대한 마틴게일 차분을 다루기 위해 Matrix‑Azuma와 Bernstein‑type 불평등을 결합한다. (2) 보상 추정은 다항식 성장 특성을 반영해, 편향·분산을 각각 (|x|^{m})와 (|x|^{2m}) 수준으로 제어한다. (3) 파티션 세분화 기준을 편향‑분산 트레이드오프 형태의 임계값으로 설정하고, 이를 통해 전체 에피소드 동안 파티션 수가 (\tilde O\big(K^{\frac{z_{\max,c}+1}{z_{\max,c}+2}}\big)) 이하임을 보인다. (4) 최종 regret는
\