위험 인식형 레스트리스 밴딧 의사결정 이론과 알고리즘

초록

본 논문은 전통적인 기대값 기반 레스트리스 밴딧(RB) 모델에 위험 회피(또는 위험 선호) 목표를 도입하고, 위험 인식형 Whittle 인덱스를 정의한다. 유한·무한 수평선에서 인덱스 가능성 조건을 제시하고, 베이지안 학습 환경에서는 Thompson 샘플링 기반 알고리즘을 설계해 에피소드 수에 대해 서브선형, 팔 수에 대해 2차 성장하는 regret 상한을 증명한다. 기계 교체와 환자 스케줄링 사례를 통해 위험 노출 감소 효과를 실험적으로 확인한다.

상세 분석

이 연구는 레스트리스 밴딧 문제에 위험 인식 목표를 체계적으로 통합한 최초의 작업으로 평가된다. 기존의 위험 중립(Risk‑neutral) 접근은 기대 보상만을 최적화하므로, 고위험 상황에서 극단적인 손실을 충분히 억제하지 못한다. 저자들은 각 팔마다 비감소·리프시치 연속성을 갖는 효용 함수 (U_i(\cdot)) 를 도입해, 누적 보상의 변환값을 최적화하도록 문제를 재정의한다. 이때 효용 함수가 선형이면 위험 중립 문제와 동일해짐을 명시함으로써 일반화 정도를 명확히 제시한다.

핵심 이론적 공헌은 두 가지이다. 첫째, 위험 인식형 효용을 포함한 서브문제에 대해 인덱스 가능성(indexability) 조건을 증명한다. 저자는 전통적인 Whittle 인덱스 도출 과정에서 라그랑지안 승수 (\lambda) 를 도입해 평균 활성화 제약을 완화하고, 각 팔을 독립적인 최적화 문제로 분해한다. 위험 인식 효용이 비감소·리프시치 연속이면, 라그랑지안 파라미터가 증가함에 따라 최적 정책이 ‘패시브’에서 ‘액티브’로 전이하는 구조가 보존되어 인덱스 가능성이 유지된다는 점을 수학적으로 입증한다.

둘째, 위험 인식형 Whittle 인덱스를 구체적으로 계산하는 알고리즘을 제시한다. 유한 수평선 비정상(non‑stationary) 경우와 무한 수평선 할인형 경우를 각각 다루며, 비정상 상황에서는 시간에 따라 변하는 전이 행렬과 보상 함수를 고려한 동적 프로그래밍 기반 인덱스 계산법을 제공한다. 무한 수평선에서는 고정점 방정식을 이용해 할인된 가치 함수를 추정하고, 이를 통해 인덱스를 얻는다.

학습 측면에서는 전이 확률이 사전 분포를 갖는 베이지안 설정을 가정하고, Thompson 샘플링을 활용한 정책을 설계한다. 각 에피소드마다 현재 사후 분포에서 전이 매개변수를 샘플링하고, 샘플된 모델에 대해 위험 인식형 Whittle 인덱스를 계산해 팔을 선택한다. 저자는 이 알고리즘에 대해 베이지안 regret (R(K)=O(N^{2}\sqrt{KT})) 를 증명한다. 여기서 (N) 은 팔의 수, (K) 는 에피소드 수, (T) 는 각 에피소드의 길이이다. 이 결과는 기존 위험 중립 RB 학습 알고리즘이 보이는 지수적 regret와 비교해 현저히 개선된 복잡도임을 강조한다.

실험에서는 두 가지 실제 응용 사례를 선택했다. (1) 기계 교체 문제에서는 고장 확률이 높은 기계에 대한 위험 회피형 정책이 고장 비용의 분산을 크게 감소시켰으며, (2) 환자 스케줄링에서는 치료 지연에 따른 위험(예: 환자 상태 악화)을 최소화하면서 전체 치료 효율성을 유지했다. 특히, 위험 인식형 Whittle 인덱스 정책은 위험 중립 정책 대비 평균 손실은 비슷하지만, 최악의 손실(하위 5% 분위수)에서 현저히 낮은 값을 보였다.

전반적으로 이 논문은 위험 인식형 레스트리스 밴딧이라는 새로운 연구 패러다임을 제시하고, 이론적 인덱스 가능성, 효율적인 인덱스 계산, 그리고 학습 알고리즘까지 포괄적인 프레임워크를 제공한다. 이는 고위험·고불확실성 환경에서 제한된 자원을 효율적으로 배분하려는 다양한 산업·보건·재무 분야에 직접적인 적용 가능성을 열어준다.