재생에너지 기반 무선 송신기의 최적 전력 배분

본 논문은 재생에너지(태양광·풍력 등)로 주기적으로 충전되는 배터리를 전원으로 사용하는 무선 송신기의 전력 할당 문제를 다룬다. 배터리 용량은 유한하고, 충전량 Xₙ은 독립이고 유한한 정수값을 갖는 확률 변수이며, 채널 페이드 계수 h는 유한 집합 H={e₁,…,e_N}에서 i.i.d. 확률분포를 따른다. 시간은 슬롯 단위이며, 각 슬롯 시작 시 배터리 잔량 ξ와 채널 상태 h가 관측된다. 송신기는 현재 배터리 잔량 이하의 전력 P를 선택하고, 전송 후 배터리 잔량은 ξ_{n+1}=min{ξ_n−P_n+X_n, ξ_m} 로 업데이트된다. 문제는 무한 horizon 할인 보상 MDP로 모델링된다. 상태공간 S는 (ξ,h)쌍이며, 행동공간 A는 {0,…,ξ_m}이다. 보상 함수는 샤논 용량 r((ξ,h),P)=log(1+hP/N₀W) 로 정의되고, 할인 계수 λ∈(0,1)이다. 벨만 방정식은 J*(ξ,h)=max_{P≤ξ}