구조화된 순환 MDP를 위한 오프라인 강화학습 이론

초록

본 논문은 단계별 동적 특성이 서로 다른 순환형 마코프 결정 과정(Cyclic MDP)을 정의하고, 이를 위한 모듈형 오프라인 강화학습 알고리즘 CycleFQI를 제안한다. 단계별 Q‑함수를 별도로 학습함으로써 분포 불일치 문제를 완화하고, 베소프(Besov) 정규성을 가정한 유한표본 오류 한계와 수렴 속도를 이론적으로 증명한다. 또한, 마진 조건 하에 정책 가치의 비대칭적 추정 방법을 제시하고, 합성 데이터와 제1형 당뇨병 실험을 통해 실효성을 검증한다.

상세 분석

이 논문은 기존의 단일 MDP 가정이 현실의 순환적 의사결정 문제에 부합하지 못한다는 점을 지적하고, K개의 서로 다른 단계가 순환적으로 연결된 “Cyclic MDP” 프레임워크를 수학적으로 정형화한다. 각 단계 k는 고유의 상태·행동 공간(S_k, A_k), 전이 커널 P_k, 보상 함수 R_k, 그리고 단계 전이 함수 φ_k와 할인 계수 γ_k를 가진다. 이러한 구조는 특히 하루를 여러 시간대(예: 아침, 점심, 밤)로 나누어 각각 다른 동역학을 갖는 제1형 당뇨병 관리와 같은 의료 응용에 적합하다.

오프라인 강화학습에서 가장 큰 난제는 정책 업데이트가 이후 단계의 상태 분포를 변화시켜 “분포 불일치(distribution mismatch)”를 야기한다는 점이다. 순환 구조에서는 이 효과가 순환을 따라 누적되므로, 기존 FQI나 CQL과 같은 방법은 오류가 폭발적으로 커질 위험이 있다. 저자들은 이를 해결하기 위해 “모듈형 구조”를 도입한다. 구체적으로, 각 단계마다 별도의 Q‑함수 Q_k를 학습하고, Bellman 연산자를 T_U(제약된 업데이트 집합 U)로 정의하여 단계 간 의존성을 명시적으로 모델링한다. T_U는 단계가 U에 포함될 경우 최대화 연산을, 포함되지 않을 경우 고정 정책 π∘_k에 대한 기대값을 사용한다. 이 연산자는 비팽창성(non‑expansive)과 H‑step 수축성(γ_cycle) 특성을 가지며, 고유한 고정점 Q^*_U가 존재함을 증명한다.

CycleFQI 알고리즘은 이러한 이론적 구조를 실제 학습 절차에 적용한다. 매 반복 m에서 각 단계 k에 대해 타깃값 y_{ik}를 이전 Q^{(m‑1)}를 이용해 계산하고, 이를 고정시킨 뒤 단계별 회귀(예: 최소제곱) 문제를 독립적으로 해결한다. 이때 단계 간 연쇄 관계는 타깃 생성 단계에서만 필요하므로, 병렬화가 가능하고 계산 효율성이 크게 향상된다.

유한표본 분석에서는 베소프 공간(Besov space) 정규성을 가정하여 각 단계별 함수 근사 오차를 제어한다. 핵심 결과는 전체 사이클에 대한 오류가 “최악의 단일 단계”에 의해 제한된다는 점이다. 즉, 전통적인 “플래튼(flattened)” 접근법이 K배의 차원 저주에 빠지는 반면, CycleFQI는 차원 저주를 단계별로 분산시켜 실질적인 차원 의존성을 감소시킨다. 또한, 마진 조건을 이용한 sieve 추정법을 통해 정책 가치의 점근적 정규성을 확보하고, 다변량 정규분포 근사에 기반한 신뢰구간을 제공한다.

실험에서는 합성 데이터와 실제 제1형 당뇨병 데이터(연속 혈당, 인슐린 투여 기록)를 사용한다. 합성 실험에서는 단계별 동역학이 크게 달라지는 경우에도 CycleFQI가 기존 FQI, BCQ, CQL 대비 평균 보상에서 10~15% 향상을 보였으며, 부분 최적화(일부 단계만 학습) 시에도 안정적인 성능을 유지한다. 실제 당뇨병 데이터에서는 아침·점심·밤 3단계 모델링을 통해 혈당 변동성을 감소시키는 정책을 도출했으며, 임상적으로 의미 있는 혈당 목표 달성률이 향상된 것으로 보고된다.

전반적으로 이 논문은 순환적 구조를 갖는 복합 의사결정 문제에 대한 이론적·실용적 프레임워크를 제공한다. 단계별 모듈화, 베소프 기반 오류 분석, 그리고 정책 가치 추정까지 아우르는 일련의 기여는 오프라인 강화학습 분야에서 새로운 연구 방향을 제시한다.