특징 마코프 의사결정 과정

초록

이 논문은 일반적인 지능형 학습 에이전트가 마주하는 복잡하고 비마코프적인 관찰·행동·보상 시퀀스를, 적절한 상태 표현을 찾아 마코프 결정 과정(MDP)으로 변환하는 형식적 기준을 제시한다. 제안된 기준은 관측 데이터로부터 가능한 MDP 후보들을 평가하고, 가장 설명력이 높고 복잡도는 낮은 모델을 선택하도록 설계되었다. 또한 이를 하나의 학습 알고리즘으로 통합하고, 확장된 동적 베이지안 네트워크 형태에도 적용 가능함을 보인다.

상세 분석

논문은 먼저 일반적인 강화학습 에이전트가 직면하는 “비마코프” 문제를 명확히 정의한다. 관측(oₜ), 행동(aₜ), 보상(rₜ) 삼중구조는 종종 숨겨진 상태(sₜ)를 포함하고 있어, 직접적인 마코프성 가정이 깨진다. 기존 연구에서는 인간 설계자가 도메인 지식을 활용해 상태 추상화를 수행했지만, 자동화된 방법은 아직 부족했다. 저자는 이를 해결하기 위해 “특징 마코프 의사결정 과정(Feature MDP, FM‑MDP)”이라는 개념을 도입한다. 핵심은 관측 시퀀스에 적용할 수 있는 후보 특징 함수 φ: O → S 를 정의하고, 각 φ에 대해 유도된 전이 확률 P(s′|s,a)와 보상 분포 R(r|s,a)를 추정한다.

선택 기준은 두 가지 요소로 구성된다. 첫째, 설명력(Likelihood) – 주어진 데이터가 φ에 의해 정의된 MDP 모델 아래에서 얼마나 높은 확률로 발생했는가. 둘째, 복잡도(Penalization) – 특징 함수의 표현 복잡도와 파라미터 수를 벌점으로 부과한다. 이를 베이즈 정보 기준(BIC) 혹은 최소 설명 길이(MDL)와 유사한 형태의 목적 함수 J(φ)=log L(φ)−λ·C(φ) 로 정량화한다. 여기서 λ는 복잡도에 대한 가중치이며, 실험을 통해 적절히 조정된다.

알고리즘은 크게 세 단계로 진행된다. (1) 특징 후보 생성 – 관측 데이터를 기반으로 가능한 φ들을 탐색한다. 이때 후보는 짧은 n‑그램, 클러스터링 기반 상태 집합, 혹은 동적 베이지안 네트워크 구조 등 다양한 형태를 포함한다. (2) 모델 추정 – 각 φ에 대해 최대우도 추정(MLE) 혹은 베이즈 추정을 통해 전이·보상 파라미터를 학습한다. (3) 모델 선택 – 위에서 정의한 J(φ)를 계산하고, 최적 φ를 선택한다. 선택된 φ는 이후 전통적인 강화학습 알고리즘(Q‑learning, SARSA 등)에 바로 적용될 수 있다.

또한 논문은 확장 가능성을 강조한다. 동적 베이지안 네트워크(DBN) 형태의 복합 상태 변수를 포함하도록 φ를 일반화하면, 시간 의존적인 구조와 부분 관측 문제도 동일한 프레임워크 내에서 다룰 수 있다. 이때 전이와 관측 모델을 별도로 학습하고, 전체 로그우도에 대한 분해가 가능하도록 설계한다.

실험에서는 몇 가지 표준 RL 벤치마크(예: GridWorld, MountainCar)와 복잡한 시뮬레이션 환경을 사용해, 자동으로 추출된 FM‑MDP가 인간 설계 상태보다 학습 속도와 최종 성능에서 우수함을 입증한다. 특히, 특징 함수가 과도하게 복잡해지는 경우 λ 조정을 통해 과적합을 방지하고, 적절한 모델 복잡도를 유지할 수 있음을 보인다.

결론적으로, 이 연구는 “어떤 상태 표현이 가장 적합한가?”라는 질문에 대한 형식적이고 계산 가능한 답을 제공한다. 이는 강화학습을 보다 일반적인 인공지능 시스템에 통합하는 데 필수적인 단계이며, 향후 자동 상태 추출과 메타‑러닝 연구에 중요한 기반이 될 것이다.