베이지안 강화학습을 위한 효율적 트리 탐색 기법

본 논문은 베이지안 강화학습(Bayesian Reinforcement Learning)에서 발생하는 핵심적인 계산적 어려움, 즉 무한히 확장될 수 있는 신념 트리(belief tree)의 효율적 탐색 문제를 다룬다. 저자는 먼저 베이지안 탐색을 “신념‑증강 마코프 결정 과정(Belief‑Augmented MDP, BAMDP)”이라는 형식으로 정형화한다. 여기서 상태는 원래 MDP의 상태 s와 현재 신념 ξ의 쌍(ω = (s, ξ))으로 구성되며, 이 하이퍼‑스테이트는 트리의 노드가 된다. 트리의 각 레벨은 한 단계의 행동·관측에 대응하고, 모든 가능한 다음 신념을 자식 노드로 만든다. 이론적으로는 무한히 많은 자식이 존재할 수 있어 전체 트리를 완전히 전개하는 것은 불가능하다. 문제 해결을 위해 저자는 각 노드 ω에 대해 최적 가치 함수 V*(ω)의 상한과 하한을 고확률로 제공하는 경계값을 도출한다. 하한은 현재 신념 ξ가 정의하는 평균 MDP \(\bar{\mu}_\xi\)에 대해 최적 정책 \(\pi^*(\bar{\mu}_\xi)\)를 적용한 기대 보상으로 정의된다. 이는 “블라인드 정책”과 유사하지만, 베이지안 설정에서는 평균 모델을 사용함으로써 더 타이트한 하한을 제공한다. 상한은 신념 하에서 가능한 모든 MDP에 대해 최적 정책을 적용한 기대값의 상한으로, 직접 계산하기는 어려우므로 Monte‑Carlo 샘플링을 통해 근사한다. 구체적으로, 신념 ξ에서 c개의 MDP 샘플 \(\mu_1,\dots,\mu_c\)를 추출하고, 각 샘플에 대해 최적 정책 \(\pi^*(\mu_k)\)와 가치 V\(_{\pi^*}(\mu_k)\)를 계산한다. 이들의 평균 \(\hat{v}_c\)는 상한의 추정치가 되며, Hoeffding 부등식을 이용해 \(|\hat{v}_c - \bar{v}^*| > \epsilon\) 일 확률을 \(\exp(-2c\epsilon^2/(V_{\max}-V_{\min})^2)\) 로 제한한다. 하한 역시 동일한 방식으로 샘플 평균을 이용해 추정한다. 이러한 경계값을 활용해 트리 확장 전략을 설계한다. 트리 확장은 현재 리프 노드 집합 L에서 하나의 노드를 선택해 그 자식을 추가하는 과정을 N번 반복한다. 선택 기준은 “유틸리티” U(ω) 로 정의되며, U는 경계값의 차이, 상한 자체, 혹은 하한‑상한 비율 등 다양한 형태로 설계될 수 있다. 논문에서는 세 가지 구체적 알고리즘을 제시한다. 1. **Serial**: 가장 오래된 리프 노드(인덱스가 가장 작은)를 순차적으로 확장한다. 이는 트리를 거의 균형 있게 유지하지만, 탐색 효율은 낮을 수 있다. 2. **Random**: 현재 리프 중 무작위로 하나를 선택해 확장한다. 이는 구현이 간단하지만 트리 불균형을 초래한다. 3. **U‑Driven (제안된 방법)**: 각 리프에 대해 상한‑하한 차이(불확실성)를 계산하고, 불확실성이 가장 큰 노드를 우선적으로 확장한다. 이 방식은 탐색 비용을 최소화하면서 최적 정책에 가까운 값을 빠르게 얻는다. 알고리즘은 매 확장 단계마다 모든 리프 노드에 대해 현재 추정된 상·하한을 업데이트하고, 선택된 노드의 자식들을 L에 추가한다. 최종적으로 루트 노드에서 역방향으로 가치와 최적 행동을 계산한다(BackwardsInduction). 실험은 다중 무장 밴딧(Multi‑Armed Bandit, MAB) 문제에 초점을 맞춘다. MAB는 상태가 없고 각 팔을 선택하면 확률적 보상이 주어지는 전형적인 탐색‑활용 문제이며, 베이지안 관점에서는 각 팔에 대한 베타 분포 신념을 유지한다. 실험 설정은 다음과 같다. (i) 베타 사전으로 초기화된 각 팔에 대해 베이지안 업데이트를 수행, (ii) 각 알고리즘은 동일한 확장 횟수 N(예: 1000)과 동일한 할인 인자 γ를 사용, (iii) 비교 대상은 분포 자유 알고리즘인 UCB1과 단순 베이스라인(무작위 선택)이다. 결과는 U‑Driven 알고리즘이 초기 단계에서 높은 누적 보상을 달성하고, 전체 실험 기간 동안 평균 보상이 UCB1보다 유의미하게 높음을 보여준다. 특히, 상한‑하한 차이가 큰 팔을 빠르게 탐색함으로써 불확실성을 빠르게 감소시키고, 이후에는 거의 최적에 가까운 정책을 유지한다. Serial과 Random 방식은 각각 균형 유지와 무작위성 때문에 성능이 중간 정도이며, U‑Driven가 가장 효율적이다. 논문의 기여는 크게 세 가지로 요약할 수 있다. 첫째, 베이지안 강화학습에서 트리 확장 자체를 탐색 문제로 재해석하고, 이를 해결하기 위한 고확률 상·하한을 이론적으로 도출하였다. 둘째, Monte‑Carlo 기반의 상한 추정과 Hoeffding 부등식을 이용한 오류 제어를 통해 실용적인 알고리즘 구현이 가능함을 보였다. 셋째, 제안된 경계값 기반 확장 전략이 기존의 분포 자유 알고리즘을 실제 문제에서 능가함을 실험적으로 입증하였다. 향후 연구 방향으로는 (1) 연속 상태·액션 공간에서의 신념 표현(예: 가우시안 프로세스)과 그에 맞는 경계값 계산, (2) 깊은 트리 구조를 갖는 일반 MDP에서의 확장 정책 설계, (3) 상·하한을 이용한 휴리스틱 정책 선택과 탐색‑활용 균형을 동적으로 조절하는 메커니즘 개발 등이 제시된다. 이러한 확장은 베이지안 강화학습을 실제 로봇 제어, 자율 주행, 게임 AI 등 복잡한 환경에 적용하는 데 중요한 기반이 될 것으로 기대된다.