DRL과 베이지안 최적화를 융합한 URLLC 산업 IoT 링크 적응 및 디바이스 스케줄링

초록

본 논문은 불완전한 CSI 환경에서 다중 디바이스가 동시에 URLLC 서비스를 요구하는 IIoT 네트워크를 대상으로, 블록 오류율(BLER) 제약 하에 총 전송률을 최대화하는 공동 링크 적응 및 디바이스 스케줄링 방안을 제시한다. 이를 위해 베이지안 최적화가 결합된 Twin Delayed Deep Deterministic Policy Gradient(TD3) 알고리즘을 설계하고, 샘플 불균형 및 TD3의 파라미터 민감성을 완화하기 위한 BO 기반 학습 메커니즘을 도입하였다. 시뮬레이션 결과, 제안 방법이 기존 기법 대비 수렴 속도가 빠르고 합계 전송률이 크게 향상됨을 확인하였다.

상세 분석

본 연구는 산업 현장에서 요구되는 초저지연·초고신뢰(UR­LLC) 통신을 지원하기 위해, 다중 디바이스가 동시에 서비스를 받는 상황에서 링크 적응(Link Adaptation, LA)과 디바이스 스케줄링(서비스 순서 포함)을 공동으로 최적화하는 문제를 정의한다. 기존 연구들은 주로 CSI가 완전하게 알려진 경우 혹은 단일 디바이스에 초점을 맞추었으나, 실제 IIoT 환경에서는 채널 추정 오차와 빠른 채널 변동으로 인해 CSI가 불완전하고, URLLC 특성상 오류 샘플이 극히 적어 학습 데이터가 불균형하게 된다. 이러한 현실적 제약을 반영하지 않으면, 강화학습 기반 정책이 수렴하지 않거나 BLER 제한을 위반하는 위험이 있다.

논문은 먼저 시스템 모델을 수학적으로 정리한다. 각 디바이스 i는 시간 슬롯 t에 할당받은 전송 파라미터(모듈레이션·코딩 스키마, MCS)와 전송 순서 π(i)를 갖는다. 목표는 BLER ≤ ε (예: 10⁻⁵) 조건 하에 Σ_i R_i(π, MCS) 를 최대화하는 것이다. 여기서 R_i는 불완전 CSI를 기반으로 추정된 전송률이며, BLER은 CSI 오차와 MCS 선택에 따라 확률적으로 계산된다.

강화학습 접근으로는 연속적인 액션 공간을 다루는 TD3를 선택한다. TD3는 액터-크리틱 구조에서 정책 지연(actor delay)과 목표 네트워크 복제(target network) 등을 통해 과도한 정책 업데이트를 억제하고, 연속적인 MCS 파라미터와 디바이스 순서를 동시에 출력한다. 그러나 TD3는 하이퍼파라미터(학습률, 탐색 노이즈 등)에 민감하고, 초기 샘플이 편향될 경우 지역 최적점에 머무를 가능성이 크다.

이를 보완하기 위해 베이지안 최적화(BO)를 학습 초기와 주기적인 재조정 단계에 도입한다. BO는 가우시안 프로세스(GP)를 이용해 현재 정책 파라미터 집합에 대한 기대 성능을 모델링하고, 획득 함수(acquisition function)를 통해 가장 개선 가능성이 높은 파라미터 조합을 제안한다. 특히, BO는 샘플 불균형 문제를 인식하여 오류 샘플(블록 오류 발생) 비중이 높은 영역을 우선 탐색하도록 설계되었다. 결과적으로 TD3는 BO가 제공하는 초기 정책과 주기적인 파라미터 튜닝을 통해 빠르게 수렴하고, BLER 제약을 안정적으로 만족한다.

알고리즘 흐름은 크게 두 단계로 나뉜다. 1) BO 기반 초기화: GP를 통해 초기 액터와 크리틱 네트워크의 가중치를 탐색하고, 최적 후보를 선택한다. 2) BO‑TD3 연동 학습: 매 에피소드 종료 시 현재 정책의 성능(합계 전송률 및 BLER 위반 여부)을 관측하고, 이를 GP에 업데이트한다. 이후 획득 함수를 통해 다음 학습 단계에서 탐색할 파라미터 영역을 재조정한다. 이 과정은 샘플 불균형을 완화하기 위해 오류 샘플에 가중치를 부여하는 형태로 구현된다.

시뮬레이션에서는 1030개의 디바이스가 존재하는 시나리오와, 평균 SNR이 020 dB 범위에서 변동하는 환경을 설정하였다. 비교 대상은 전통적인 고정 MCS 스케줄링, DQN 기반 이산 액션 정책, 그리고 BO 없이 순수 TD3 정책이다. 결과는 제안 BO‑TD3가 30% 이상 빠른 수렴을 보이며, 최종 합계 전송률이 기존 방법 대비 12~18% 향상됨을 보여준다. 또한 BLER 위반률은 0.5% 이하로 유지되어 URLLC 요구사항을 충족한다.

본 논문의 핵심 기여는 (1) 불완전 CSI와 URLLC 특성을 동시에 고려한 공동 최적화 문제 정의, (2) 연속 액션 공간을 다루는 TD3와 전역 탐색 능력을 갖는 BO의 효과적인 결합, (3) 오류 샘플 불균형을 해결하기 위한 BO 기반 샘플 선택 메커니즘 제시, (4) 시뮬레이션을 통한 실증적 성능 검증이다. 이러한 접근은 차세대 산업용 무선 네트워크에서 실시간 고신뢰 통신을 구현하기 위한 실용적인 프레임워크로 활용될 수 있다.