시간 민감 작업의 최적 스케줄링: RMAB와 탐욕 정책의 완전 해법

본 논문은 중앙 제어기(CC)가 매 슬롯마다 K개의 서버를 M≥K개의 노드에 할당해 작업을 처리해야 하는 시스템을 연구한다. 각 노드에서는 독립적·동일한 메모리리스 확률 과정에 의해 작업이 생성되며, 작업은 제한된 용량(C) 큐에 저장된다. 작업은 시간에 민감해 일정 확률(p_expire)로 만료될 수 있다. CC는 큐 상태를 직접 관측하지 못하고, 오직 이전 스케줄링 결과와 사전 확률 정보를 이용해 의사결정을 해야 한다. 1. **시스템 모델링** - **큐 상태**: 용량 1인 경우 Q_i(t)∈{0,1} 로 표현, 일반 C인 경우 0…C. - **전이 확률**: 서버가 할당되지 않은 경우(p(0)xy), 할당된 경우(p(1)xy) 로 구분. 여기서 x는 현재 상태(0/1), y는 다음 상태(0/1). - **관측 모델**: 서버가 할당된 노드의 현재 큐 상태를 슬롯 종료 시점에 관측, 할당되지 않은 노드는 관측 불가. 2. **POMDP 및 믿음(belief) 정의** - 믿음 ω_i(t)=Pr