AIXI 근사 기반 확장 강화학습 에이전트 설계

초록

본 논문은 일반 강화학습의 베이지안 최적성 개념인 AIXI를 실용적인 알고리즘으로 구현하기 위한 근사 방법을 제시한다. Monte Carlo Tree Search와 Context Tree Weighting을 결합한 새로운 에이전트 구조를 설계하고, 다양한 확률적·부분관측 환경에서 성능을 검증한다.

상세 분석

AIXI는 모든 가능한 환경 모델에 대해 베이지안 가중치를 부여하고, 기대 보상을 최대화하는 행동을 선택하는 이론적 최적 에이전트이다. 그러나 무한히 큰 모델 클래스와 완전한 탐색이 요구돼 실제 구현이 불가능했다. 저자들은 이 장벽을 두 단계 근사화로 허물었다. 첫 번째는 환경 모델링을 제한된 컨텍스트 트리(CT) 구조로 압축하는데, 이는 Context Tree Weighting(CTW) 알고리즘을 확장해 확률적 전이와 보상 예측을 동시에 수행하도록 만든 것이다. CTW는 문자열 압축 이론에서 유도된 가중 평균 기법으로, 과거 관측에 기반한 사후 확률을 효율적으로 계산한다. 여기서는 관측‑행동‑보상 삼중을 하나의 시퀀스로 취급해, 트리의 각 노드가 해당 시퀀스의 조건부 확률을 저장한다. 두 번째 단계는 행동 선택을 위한 탐색이다. Monte Carlo Tree Search(MCTS)는 제한된 시뮬레이션 예산 안에서 미래 보상의 기대값을 추정하는 데 강점이 있다. 논문은 MCTS에 AIXI‑like 가치 함수인 “가중 평균 보상”을 삽입하고, 시뮬레이션 단계마다 CTW 기반 모델을 샘플링해 환경의 불확실성을 반영한다. 이 결합을 “AIXI‑MCTS”라 명명하고, 탐색‑예측‑업데이트 루프를 반복한다. 주요 이론적 기여는 (1) CTW를 강화학습에 맞게 확장한 모델링 프레임워크, (2) 베이지안 가치 추정과 MCTS를 자연스럽게 연결한 알고리즘 설계, (3) 계산 복잡도를 기존 AIXI와 비교해 다항 시간 수준으로 낮춘 점이다. 실험에서는 파라미터가 거의 없는 “무지” 설정에서도 에이전트가 빠르게 최적 정책에 수렴함을 보였으며, 특히 부분관측 마르코프 결정 과정(POMDP)과 무작위 미로 탐색에서 기존 강화학습 기법보다 높은 샘플 효율성을 기록했다. 한계점으로는 트리 깊이와 시뮬레이션 수에 따라 메모리 사용량이 급증할 수 있다는 점이며, 복잡한 연속 상태 공간에서는 CTW의 이산화가 성능 저하를 초래할 가능성이 있다. 향후 연구는 트리 구조의 동적 축소, 연속형 변수에 대한 커널 기반 확장, 그리고 멀티에이전트 환경에서의 협업 학습으로 이어질 수 있다.