지연 최적 OFDMA 전력·서브캐리어 할당을 위한 확률 근사 기반 온라인 정책

본 논문은 OFDMA 기반 무선 시스템에서 다중 사용자(K)와 다중 서브캐리어(N_F)를 고려한 지연 최적 전력·서브캐리어 할당 문제를 다룬다. 시스템은 베이스 스테이션에 K개의 큐가 존재하며, 각 큐는 서로 다른 패킷 도착률과 지연 요구를 가진다. 전송 스케줄러는 매 슬롯마다 현재 채널 상태(CSI)와 큐 상태(QSI)를 관측하고, 이를 기반으로 전력 p_{k,n}와 서브캐리어 할당 s_{k,n}을 결정한다. 목표는 평균 전송 전력 제한 P_0과 서브캐리어 사용 제한을 만족하면서, 각 사용자의 평균 지연 T_k를 최소화하는 것이다. 이를 위해 저자는 먼저 문제를 K차원 무한 수평 평균 보상 마코프 결정 문제(MDP)로 모델링한다. 상태는 χ=(H,Q)이며, 전이 확률은 CSI와 큐 동역학에 의해 정의된다. 평균 지연은 Little’s Law에 의해 큐 길이의 평균으로 표현되고, 목표 함수는 가중치 β_k를 곱한 지연 합과 전력 비용 γ·P_tx의 선형 결합 형태가 된다. 전통적인 Bellman 방정식(10)을 직접 풀면 상태공간이 (N_Q+1)^K·|H| 로 급격히 증가해 계산이 불가능하다. 이를 해결하기 위해 저자는 정책을 QSI에 조건화된 행동 집합 Ω(Q)로 분할하고, 조건부 가치 함수 Ṽ(Q)=E