구조 인식형 확률 제어를 이용한 전송 스케줄링

**1. 서론 및 배경** 무선 통신은 채널 품질이 시간에 따라 변하고, 트래픽 도착도 불규칙적이다. 이러한 환경에서 에너지 효율을 유지하면서 지연 요구를 만족하려면 전송량을 동적으로 조절하는 스케줄링 정책이 필요하다. 기존 연구들은 채널·트래픽 통계가 알려진 경우에 최적 정책을 도출했지만, 실제 시스템에서는 이러한 사전 지식이 부족하다. 또한, 대규모 상태공간을 다루는 전통적 강화학습은 메모리와 수렴 속도에서 한계가 있다. **2. 문제 정의 및 MDP 모델링** 시간을 슬롯 단위로 나누고, 상태 sₜ를 (백로그 xₜ, 채널 상태 hₜ) 로 정의한다. 액션 yₜ는 해당 슬롯에 전송할 데이터 양이며, 전송 후 백로그는 xₜ₊₁ = min{B, xₜ – yₜ + aₜ} 로 업데이트된다. 즉시 효용 u(xₜ, yₜ) 은 백로그 감소 효과를, 전송 비용 c(hₜ, yₜ) 은 에너지 소비를 나타낸다. 목표는 장기 할인 효용을 최대화하면서 평균 전송 비용이 예산 c 이하가 되도록 하는 제약 MDP 를 푼다. **3. 구조적 특성 분석** - **볼록성**: 가치 함수 V(x) 가 백로그에 대해 볼록(concave)임을 증명한다. 이는 효용 함수가 초모듈러(supermodular)이고 전송 비용이 증가·볼록함을 전제로 한다. - **단조성**: 최적 정책 π*(x) 가 백로그가 증가할수록 전송량을 늘리는 비감소(monotone) 특성을 가진다. Topkis 정리를 이용해 증명한다. 이러한 특성은 정책 탐색을 제한된 형태(예: 임계값 기반)로 단순화할 수 있게 해준다. **4. 포스트‑디시전 상태와 라그랑주 이중화** 전송 직후, 새로운 패킷 도착 전의 중간 상태를 포스트‑디시전 상태 (x̂, h) 로 정의한다. 이 상태에서의 가치 함수 Q̂(x̂, y) 를 도입하면, 기대값 연산을 액션 선택 전으로 이동시켜 Bellman 방정식을 간소화한다. 제약 MDP 를 라그랑주 승수 λ 로 변환해 무제약 MDP 로 풀고, λ 를 반복적으로 업데이트하는 이중 최적화 절차를 제시한다. λ‑정책은 장기 전송 비용이 예산을 정확히 만족하도록 조정된다. **5. 구조 인식형 온라인 학습 알고리즘** 전통적 Q‑learning 은 모든 (x, y) 쌍을 별도로 학습해야 하므로 메모리 요구가 O(|X|·|Y|) 로 급증한다. 저자는 가치 함수 V(x) 를 **조각선형(piece‑wise linear)** 로 근사한다. 즉, 백로그 구간을 K 개의 절점 {x₁,…,x_K} 로 나누고, 각 절점에서 V 값을 저장한다. 정책 업데이트 시에는 현재 백로그가 속한 구간의 두 절점 값을 선형 보간해 Q̂ 값을 계산하고, 선택된 액션에 따라 해당 절점들의 V 값을 스텝 사이즈 α 로 조정한다. 이 방법은: - 볼록성을 보존 → 구조적 특성 유지 - 저장량 O(K) 로 감소 → 대규모 시스템에 적용 가능 - 매 슬롯 업데이트가 제한된 절점에만 수행 → 수렴 속도 크게 향상 ε‑optimal 보장은 근사 오차 허용치 ε 를 사전에 지정하면, 알고리즘이 최적 가치와 ε 이하 차이로 수렴함을 이론적으로 증명한다. **6. 우선순위 큐 확장** 실제 트래픽은 서비스 우선순위가 존재한다. 이를 위해 여러 개의 백로그 x^{(p)} (p = 1…P) 를 가진 우선순위 큐를 도입한다. 포스트‑디시전 가치 함수는 다차원 형태가 되지만, 각 우선순위가 독립적인 볼록성을 갖는다는 점을 이용해 **다개의 1차원** 조각선형 함수로 분해한다. 따라서 각 큐에 대해 별도의 조각선형 학습을 수행하면 전체 시스템을 효율적으로 제어할 수 있다. **7. 시뮬레이션 및 성능 평가** 시뮬레이션에서는 (i) 안정성 제약 최적화, (ii) 기존 Q‑learning, (iii) 제안된 구조 인식형 온라인 학습을 비교한다. 평가 지표는 평균 지연, 평균 에너지 소비, 수렴 시간, 메모리 사용량이다. 결과는: - 제안 방법이 큰 지연 영역뿐 아니라 작은 지연 영역에서도 에너지‑지연 트레이드오프를 크게 개선한다. - 저장·연산 복잡도가 기존 방법 대비 10배 이상 감소한다. - 수렴 속도가 기존 Q‑learning 대비 5배 이상 빠르다. 우선순위 큐 확장 실험에서도 각 큐별 정책이 독립적으로 최적화되어 전체 시스템 효율이 향상됨을 확인했다. **8. 결론** 본 논문은 전송 스케줄링 문제를 MDP 로 정형화하고, 최적 가치 함수와 정책이 갖는 구조적 특성을 체계적으로 분석하였다. 이를 기반으로 조각선형 근사를 활용한 온라인 학습 알고리즘을 설계해 ε‑optimal 보장을 제공하고, 메모리·연산 효율성을 크게 향상시켰다. 또한 우선순위 트래픽까지 포괄하는 확장성을 갖추어 실무 적용 가능성을 높였다. 이론적 증명과 실험적 검증을 통해 기존 방법 대비 현저한 성능 우위를 입증하였다.