에피소드 기반 사회학습에서의 탐색 실패와 선형 베이지안 후회

초록

각 에이전트가 짧은 연속 의사결정(에피소드)을 담당하는 다중무장 밴딧 모델을 분석한다. 에이전트는 에피소드 내에서 탐색을 할 유인이 있지만, 전체 시스템은 탐색을 충분히 수행하지 못해 베이지안 후회가 시간에 따라 선형으로 증가한다. 이 현상은 특정 최악 상황이 아니라 대부분의 문제 인스턴스에서 일반적으로 발생한다. 합계, 최대값, 최소값 등 다양한 에피소드 유틸리티 함수에도 동일하게 적용된다. 따라서 외부에서 탐색을 강제하거나 보상하는 메커니즘이 필요함을 강조한다.

상세 분석

본 논문은 “에피소드 기반 사회학습(Episodic Bandit Social Learning, EpiBSL)”이라는 새로운 프레임워크를 제시한다. 기본 설정은 두 개의 비스킴(베르누이) 팔과 하나의 스킵 팔을 갖는 스토캐스틱 밴딧이며, 각 에이전트는 길이 m ≥ 2인 연속 라운드(에피소드)를 제어한다. 에이전트는 베이지안 사전에 기반해 현재 히스토리를 관찰하고, 에피소드 내에서 자신의 기대 효용을 최대화하는 정책 πₑ를 선택한다. 효용은 에피소드 내 보상의 벡터 rₑ 에 대해 사전 정의된 함수 f(rₑ) (합계, 최대, 최소 등)에서 탐색 비용 c_expl 을 차감한 형태이다.

핵심 결과는 “학습 실패”가 일반적인 현상이라는 점이다. 정의 FAIL (c,N) 은(1) 두 팔의 평균 보상이 (c,1‑c) 구간에 있고, (2) 최적 팔이 최소 c 만큼 더 좋으며, (3) 최적 팔이 N 번 이하만 선택되는 경우를 말한다. 논문은 임의의 고정 c,N 에 대해 Pr