베이시안 강화학습 종합 설문

본 설문은 베이시안 강화학습(BRL)의 전반적인 연구 흐름을 체계적으로 정리하고, 각 분야별 핵심 알고리즘과 이론적·실험적 성과를 상세히 비교한다. 서론에서는 강화학습이 순차적 의사결정 문제를 다루며, 탐색‑활용 딜레마가 핵심 난제임을 강조한다. 베이시안 접근은 사전 지식을 확률분포 형태로 명시하고, 관측 데이터를 통해 베이시안 업데이트를 수행함으로써 불확실성을 정량화하고, 탐색 가치를 자연스럽게 계산한다는 장점을 제시한다. 제2장에서는 다중 팔 밴딧(MAB)과 마코프 결정 과정(MDP), 부분관측 마코프 결정 과정(POMDP), 강화학습 전반, 베이시안 학습의 기본 개념을 정의한다. 특히, 베이시안 밴딧에서는 베이시안 UCB와 톰슨 샘플링이 주요 방법으로 소개되며, 사후 분포를 유지하면서 기대 보상을 추정하고, 정규화된 후험(regret) 경계가 어떻게 도출되는지를 설명한다. 제3장에서는 베이시안 밴딧의 고전적 결과와 최신 변형을 다룬다. 베이시안 UCB는 사전 분포와 관측 데이터를 결합해 상한을 계산하고, 톰슨 샘플링은 사후 샘플을 기반으로 행동을 선택해 실험적 효율성을 입증한다. 제4장에서는 모델 기반 BRL을 심층적으로 탐구한다. 여기서는 MDP의 전이와 보상 파라미터에 대한 사전을 정의하고, 베이시안 업데이트를 통해 후험 분포를 유지한다. 오프라인 가치 근사에서는 베이시안 동적 계획법(Bayesian DP)과 베이시안 샘플링이 사용되며, 온라인 근사에서는 근접 최적화, 트리 탐색, 탐색 보너스 기반 PAC‑MDP 보장이 제시된다. 또한, 연속 상태·액션 MDP, 부분관측 MDP, 구조화된 사전(예: 파라미터 공유, 계층적 베이시안) 등 다양한 확장 모델을 다룬다. 제5장에서는 모델 프리 BRL을 다룬다. 가치 함수에 대한 베이시안 추정은 가우시안 프로세스, 베이시안 선형 회귀, 베이시안 신경망 등을 이용해 불확실성을 모델링한다. 베이시안 정책 그라디언트와 베이시안 액터‑크리틱 구조는 파라미터 사후 분포를 유지하면서 샘플 효율성을 높이고, 탐색 보너스를 자동으로 제공한다. 정규화 효과는 과적합 방지를 돕고, 초기 학습 단계에서의 불확실성을 명시적으로 반영한다. 제6장에서는 위험 민감 BRL을 소개한다. 파라미터 불확실성으로 인한 위험을 CVaR, 엔트로피, 변동성 등으로 정량화하고, 베이시안 위험 민감 정책은 후험 분포의 꼬리 위험을 최소화하도록 설계된다. 이는 로봇 제어, 의료, 금융 등 안전이 중요한 분야에 적용 가능하다. 제7장에서는 다양한 확장 연구를 논한다. PAC‑Bayes 모델 선택은 사전‑후험 간 KL 발산을 최소화해 최적 모델을 선택하고, 베이시안 역강화학습은 관찰된 행동·보상으로부터 보상 함수를 추정한다. 다중 에이전트 BRL은 공동 사전과 상호작용을 모델링하고, 다중 과제 학습은 사전을 공유해 전이 학습을 촉진한다. 마지막으로 결론에서는 현재 베이시안 강화학습의 한계와 향후 연구 방향을 제시한다. 주요 과제로는 고차원 연속 공간에서의 효율적인 베이시안 추정, 실시간 근사 알고리즘의 계산 복잡도 감소, 사전 설계 자동화, 그리고 베이시안 방법을 실제 로봇·시뮬레이션 시스템에 적용하기 위한 스케일링 문제가 있다. 전반적으로 이 설문은 베이시안 접근이 탐색 효율성, 정규화, 위험 관리, 그리고 복합 환경에서의 확장성을 제공함을 입증하며, 연구자들에게 향후 연구 로드맵을 제시한다.