반응형 환경에서 최적 학습 가능성 탐구

초록

관찰이 과거 행동·관찰에 임의로 의존하는 반응형 환경에서, 알려진 가산 집합에 속하는 환경 중 하나가 실제 환경이라고 가정한다. 저자는 이러한 클래스에 대해 최적의 장기 평균 보상을 보장하는 학습 에이전트가 존재하기 위한 충분조건을 제시하고, 그 조건이 기존 MDP·POMDP·혼합조건과 어떻게 연결되는지를 분석한다.

상세 분석

본 논문은 강화학습을 전통적인 (부분)마코프 결정 과정(POMDP)보다 훨씬 일반적인 “반응형 환경”(reactive environment)으로 확장한다. 여기서 반응형 환경이란 현재 관찰이 과거의 행동·관찰 전체에 대해 임의의 확률적 의존성을 가질 수 있음을 의미한다. 즉, 전이와 관측 함수가 고정된 유한 상태공간에 국한되지 않으며, 무한히 긴 히스토리에도 영향을 받을 수 있다. 이러한 일반성 때문에 기존의 Bellman 최적화 이론이나 가치함수 수렴 분석을 바로 적용할 수 없으며, 새로운 수학적 프레임워크가 필요하다.

저자는 먼저 환경 클래스 𝔈 를 가산 집합 {μ₁,μ₂,…} 으로 가정하고, 실제 환경 μ∈𝔈 는 미지이지만 반드시 이 집합에 포함된다고 선언한다. 목표는 “자기‑최적(self‑optimizing)” 혹은 “가치‑안정(value‑stable)” 에이전트를 설계하여, 어떤 μ에 대해서도 장기 평균 보상 V⁎(μ) 에 수렴하도록 하는 것이다. 이를 위해 논문은 두 가지 핵심 개념을 도입한다.

첫째, 가치‑안정성(value‑stability) 은 임의의 초기 히스토리 h 에 대해, 충분히 긴 시간 T 후에 최적 정책 π⁎ 에 따라 얻을 수 있는 평균 보상이 초기 히스토리와 무관하게 V⁎(μ) 에 근접함을 보장한다. 형식적으로는
\