하이브리드 인지 IoT를 위한 협동 캐시와 SWIPT‑EH 기반 계층형 강화학습 프레임워크

초록

본 논문은 하이브리드 언더레이·오버레이 인지 IoT 네트워크에서 에너지 수집, 스펙트럼 접근, 전력 할당 및 협동 캐시를 동시에 최적화하는 3단계 계층형 소프트 액터‑크리틱(H‑SAC) 알고리즘을 제안한다. 가중합 다목적 문제를 정의하고, 상위 정책이 시간 스위칭 비율을, 중위 정책이 스펙트럼·캐시 협조를, 하위 정책이 전력·캐시 배치를 담당하도록 설계하였다. 시뮬레이션 결과, 제안 방식은 평균 합률, 지연, 캐시 적중률 및 에너지 효율 측면에서 기존 평면 DRL 및 탐욕적 기준을 크게 능가한다.

상세 분석

이 연구는 인지 IoT(CIoT) 환경에서 에너지 제약과 스펙트럼 경쟁이라는 두 축을 동시에 다루는 최초의 통합 학습 프레임워크를 제시한다. 기존 연구들은 주로 언더레이 전력 제어, 오버레이 협력 전송 혹은 캐시 배치 중 하나에 집중했으며, 대부분이 정적인 파라미터(예: 고정 TS 비율)나 완전한 시스템 정보에 의존하는 최적화 기반 접근을 사용했다. 본 논문은 이러한 한계를 극복하기 위해 다음과 같은 핵심 설계를 도입한다.

1. 하이브리드 접근 모델: PU(Primary User) 활동에 따라 CIoT 단말이 언더레이(간섭 허용) 혹은 오버레이(협력 캐시 기반) 모드로 전환한다. 오버레이 모드에서는 PU 콘텐츠를 사전에 캐시함으로써 스펙트럼 사용 권한을 교환하고, 언더레이 모드에서는 전력 제어를 통해 간섭 제한을 만족한다.

2. SWIPT‑EH와 TS 비율 학습: 시간 스위칭(Time‑Switching) 방식으로 에너지 수집과 데이터 전송을 동시에 수행한다. 기존 연구는 고정된 TS 비율을 가정했지만, 여기서는 상위 정책이 연속적인 TS 파라미터를 직접 학습한다. 이를 통해 채널 상태와 PU 활동에 따라 동적으로 에너지와 정보 전송 사이의 균형을 맞출 수 있다.

3. 협동 캐시와 콘텐츠 교환: 캐시 용량이 제한된 CIoT 단말이 PU의 인기 콘텐츠를 사전에 저장하고, 오버레이 전송 시 이를 PU에 제공한다. 캐시 적중률은 스펙트럼 접근 성공 확률과 직접 연결되며, 이는 전체 시스템의 지연 및 에너지 효율을 크게 개선한다. 캐시 배치 결정도 연속적인 전력 제어와 함께 하위 정책에서 동시에 최적화된다.

4. 계층형 SAC 설계:

   • 고위 정책(Level‑1): 연속적인 TS 비율을 출력한다. 이는 연속 액션 스페이스이므로 SAC의 엔트로피 정규화가 탐색을 촉진한다.
   • 중위 정책(Level‑2): 스펙트럼 접근 모드(언더레이/오버레이)와 캐시 공유 여부를 이산적으로 선택한다. 이산 액션을 다루기 위해 Gumbel‑Softmax 근사와 SAC의 정책 네트워크를 결합한다.
   • 저위 정책(Level‑3): 전력 할당(연속)과 캐시 업데이트(이산)를 동시에 결정한다. 두 종류의 액션을 별도 서브네트워크로 분리하고, 최종 Q‑값은 각 서브액션의 Q‑값을 합산해 계산한다.

   이러한 구조는 “액션 스페이스 폭발” 문제를 효과적으로 억제한다. 각 레벨은 독립적인 보상 신호를 받으며, 전체 보상은 가중합 형태(throughput, cache hit, delay)로 구성돼 계층 간 협업을 유도한다.

5. 학습 안정성 및 수렴: SAC의 자동 엔트로피 조정 메커니즘을 활용해 탐색·활용 균형을 동적으로 유지한다. 또한, 경험 재플레이 버퍼를 레벨별로 분리해 서로 다른 타임스케일의 데이터가 혼합되는 것을 방지한다. 실험에서는 평면 DDPG, PPO, DDQN 등과 비교했을 때 수렴 속도가 30 % 이상 빨라졌으며, 최종 성능에서도 12 %~18 % 향상을 보였다.

6. 시뮬레이션 환경 및 결과: Rayleigh 페이딩 채널, PU 활동 확률 0.40.7, 캐시 용량 510개, 전력 제한 0~30 dBm 등 현실적인 파라미터를 사용했다. 주요 지표는 평균 합률(average sum rate), 전송 지연, 캐시 적중률, 에너지 효율(EE)이다. 제안 H‑SAC은 특히 PU 활동이 불규칙하고 채널 상태가 급변하는 상황에서 기존 방법보다 평균 합률을 15 % 이상, 지연을 20 % 이상 감소시켰다. 캐시 적중률은 0.65에서 0.82로 상승했으며, 에너지 효율도 1.8배 향상되었다.

7. 제한점 및 향후 과제: 현재는 단일 CIoT‑PU 쌍을 대상으로 했으며, 다중 사용자·다중 PU 시나리오에서는 정책 간 경쟁 및 협력이 추가로 필요하다. 또한, 캐시 인기 모델을 정적 Zipf에서 동적 학습 기반으로 전환하면 더욱 현실적인 적용이 가능할 것이다.

요약하면, 이 논문은 하이브리드 스펙트럼 접근, SWIPT‑EH, 협동 캐시를 하나의 다목적 강화학습 프레임워크에 통합하고, 계층형 SAC을 통해 복합 액션을 효율적으로 학습함으로써 인지 IoT 시스템의 전반적인 성능을 크게 끌어올렸다.