가우시안 프로세스 밴딧 기반 트리 탐색 및 할인 MDP 계획

초록

본 논문은 트리 탐색을 위한 새로운 알고리즘 GPTS를 제안한다. 각 루트‑리프 경로를 밴딧의 팔로 보고, 보상 함수를 가우시안 프로세스로 가정한다. 관측 후 얻은 사후 평균·분산을 이용해 상한 신뢰구간을 계산하고, UCB 원칙에 따라 가장 높은 값을 가진 경로를 순차적으로 선택한다. 선형 및 가우시안 커널을 이용한 특성 공간에서 고유값 감소율을 분석해 √T 수준의 레지스트를 보이며, 커널 폭이 클수록 상수 항이 개선된다. 또한 할인된 MDP의 오픈 루프 플래닝에 적용해 OLOP와 동등한 이론적 보장을 제공한다.

상세 분석

GPTS는 트리 구조를 밴딧 문제에 매핑함으로써 기존 트리 탐색 알고리즘이 갖는 탐색‑활용 트레이드오프를 가우시안 프로세스(GP) 기반의 베이지안 최적화 프레임워크 안에 자연스럽게 끌어들인다. 트리의 각 경로를 0‑1 벡터(노드 존재 여부)로 표현하고, 이 벡터 공간에 선형 커널과 RBF(가우시안) 커널을 정의한다. 선형 커널은 노드별 가중치 합으로 보상을 모델링해 빠른 계산을 가능하게 하지만, 경로 간 상관관계를 충분히 포착하지 못한다. 반면 RBF 커널은 노드 간 거리(해밍 거리)를 기반으로 상관성을 부여해, 동일한 부분 트리를 공유하는 경로들 사이의 정보 전이를 촉진한다. 논문은 이러한 커널들의 전체 경로 집합에 대한 커널 행렬 고유값이 지수적으로 감소함을 증명하고, 이를 이용해 정보 이득(Information Gain) 상한을 도출한다. 정보 이득이 O(log T) 수준으로 제한되면, GP‑UCB 이론에 따라 레지스트는 O(√T · polylog T) 형태가 된다. 특히 RBF 커널의 폭(σ)이 클수록 고유값 감소가 더 급격해 정보 이득이 작아지고, 상수 항이 크게 개선된다. 구현 측면에서는 트리 구조 특성을 활용해 사후 평균·분산을 효율적으로 업데이트한다. 각 노드에 대한 누적 관측을 저장하고, 새로운 경로가 선택될 때마다 해당 경로에 포함된 노드들의 통계만 갱신함으로써 전체 경로 수(지수 규모)와 무관하게 연산 복잡도를 O(depth·|A|) 수준으로 유지한다. 마지막으로, 할인된 MDP의 플래닝 문제에 GPTS를 적용할 때는 각 타임스텝의 보상을 독립적인 GP로 모델링하고, 전체 할인 보상은 이들의 가중합으로 표현한다. 이렇게 하면 OLOP가 사용한 하위‑문제 분해와 동일한 구조를 유지하면서도 GP‑UCB의 이론적 레지스트를 그대로 가져올 수 있다. 전체적으로 GPTS는 고차원·대규모 탐색 공간에서 베이지안 밴딧의 장점을 살리면서도, 트리 구조 특유의 효율성을 확보한 점이 가장 큰 강점이다.