그리디 정책의 최적성: 휴리스틱 보상 함수가 이끄는 레스트리스 밴딧 해법

초록

본 논문은 레스트리스 다중 팔 밴딧(RMAB) 문제에서 ‘표준 보상 함수’라 정의한 클래스에 대해, 할인 계수 β가 특정 구간에 있을 때 그리디(탐욕) 정책이 전역 최적임을 수학적으로 증명한다. β = 1인 경우 평균 누적 보상 기준에서도 그리디 정책이 최적임을 보여, 복잡한 동적 계획 없이도 정책 선택이 가능하도록 한다. 인지무선 네트워크 사례를 통해 이론의 실용성을 검증한다.

상세 분석

레스트리스 밴딧은 각 팔이 활성·비활성 상태에 관계없이 시간에 따라 전이되는 마코프 프로세스로 모델링되며, 전통적인 고전 밴딧보다 계산 복잡도가 PSPACE‑Hard 수준이다. 따라서 전역 최적 정책을 구하는 것은 일반적으로 불가능에 가깝다. 논문은 이러한 난관을 회피하기 위해 ‘표준 보상 함수(standard reward function)’라는 제한된 형태를 도입한다. 표준 보상 함수는 (i) 각 팔의 현재 상태에 대한 선형 결합 형태, (ii) 보상이 비음수이며, (iii) 보상 함수가 상태 전이 확률과 독립적인 구조적 특성을 만족한다는 세 가지 조건을 가진다. 이러한 구조적 제약은 보상 기대값이 상태별 확률분포의 선형 연산으로 표현될 수 있게 하여, 그리디 정책—즉 현재 시점에서 가장 큰 즉시 기대 보상을 선택하는 정책—의 행동을 명확히 정의한다.

핵심 정리는 할인 계수 β가 0 ≤ β ≤ β* (β*는 보상 함수의 곡률과 전이 확률에 의해 결정되는 상수) 구간에 있을 때, 그리디 정책이 할인 기대 보상 기준에서 전역 최적임을 보이는 것이다. 증명은 동적 계획법의 Bellman 최적성 방정식을 이용해, 그리디 선택이 미래 가치 함수와의 차이를 양의 상수 β에 의해 억제된 형태로 나타남을 보인다. 특히, β = 1인 경우 평균 누적 보상(average reward) 기준으로 전이되며, 이때도 그리디 정책이 최적임을 보여준다. 이는 일반적인 RMAB 문제에서 흔히 발생하는 ‘myopic loss’ 현상이 표준 보상 함수 클래스에서는 사라진다는 의미다.

또한 논문은 표준 보상 함수가 실제 시스템에 어떻게 적용될 수 있는지를 인지무선(Cognitive Radio) 네트워크의 채널 할당 문제에 매핑한다. 여기서 각 채널은 팔에 해당하고, 보상은 성공적인 데이터 전송 확률에 비례한다. 채널 상태 전이는 마코프 체인으로 모델링되며, 보상 함수는 채널의 현재 이용 가능성에 대한 선형 가중합으로 표현된다. 이 경우 β = 1인 평균 보상 기준에서도 그리디 채널 선택이 최적임을 확인한다.

결과적으로, 논문은 복잡한 RMAB 최적화 문제를 ‘표준 보상 함수’라는 제한된 형태로 축소함으로써, 정책 설계자가 복잡한 동적 프로그래밍 없이도 최적 그리디 정책을 적용할 수 있는 명확한 수학적 기준을 제공한다. 이는 실시간 시스템, 무선 네트워크, 클라우드 자원 할당 등 다양한 분야에서 정책 구현 비용을 크게 절감할 수 있는 실용적 의의를 가진다.