다중 기능 RIS 기반 NOMA 다운링크 에너지 효율 극대화와 하이브리드 DRL 설계

초록

본 논문은 다중 기능 재구성 지능 표면(MF‑RIS)을 다중 배치하여 NOMA 다운링크 네트워크를 지원하고, 전력 할당·빔포밍·RIS 위상·증폭·에너지 수확 비율·위치 등을 최적화해 에너지 효율(EE)을 최대화한다. 연속 변수는 PPO, 이산 변수는 DQN으로 처리하는 다중 에이전트 하이브리드 DRL에 파라미터 공유 방식을 도입한 PMHRL 알고리즘을 제안한다. 시뮬레이션 결과, 파라미터 공유가 없는 기존 PPO·DQN 대비 EE가 현저히 높으며, MF‑RIS가 없는 전통 RIS·EH 미지원 시나리오보다도 우수함을 확인하였다.

상세 분석

이 연구는 차세대 무선 통신에서 핵심 기술로 떠오른 재구성 지능 표면(RIS)의 한계를 극복하기 위해 다중 기능 RIS(MF‑RIS)를 도입한다. 기존 수동 RIS는 반사 위상만 제어할 수 있어 신호 강도 향상에 한계가 있었지만, MF‑RIS는 능동 증폭과 에너지 수확(EH) 기능을 동시에 제공한다. 논문은 이러한 MF‑RIS를 다중 배치(multi‑MF‑RIS)하여 NOMA 기반 다운링크 시스템에 적용함으로써, 사용자 간 전력 격차를 줄이고 셀 커버리지를 확대한다.

문제 정의는 에너지 효율(EE) = 총 전송 데이터율 / 총 전력 소비를 최대화하는 비선형 최적화 문제로, 연속 변수(전송 파워, 빔포밍 벡터, 위상·증폭 진폭)와 이산 변수(EH 비율 선택, RIS 위치 배치) 모두를 포함한다. 제약식은 전송 파워 한계, 각 사용자 최소 데이터율, MF‑RIS의 자체 지속 가능성(수확된 에너지 ≥ 소비) 등을 포함한다. 이러한 복합 변수와 제약식은 전통적인 수학적 최적화로는 해결이 어려워, 강화학습 기반 접근이 필요하다.

저자는 두 종류의 강화학습 에이전트를 결합한 하이브리드 구조를 설계한다. 연속 제어가 요구되는 파라미터(전력, 빔포밍, 위상·증폭)는 Proximal Policy Optimization(PPO)으로 처리하고, 이산 선택(에너지 수확 비율, RIS 배치 등)은 Deep Q‑Network(DQN)으로 담당한다. 핵심 혁신은 ‘파라미터 공유(parametrized sharing)’ 메커니즘이다. 두 에이전트가 공유하는 고차원 상태 표현을 공통으로 사용하고, 정책·가치 네트워크의 일부 파라미터를 교차 업데이트함으로써 학습 효율과 수렴 속도를 크게 향상시킨다. 이는 다중 에이전트 협업에서 발생하는 비동기성 문제를 완화하고, 전체 시스템의 전역 최적화에 기여한다.

시뮬레이션에서는 단일·다중 MF‑RIS 배치, EH 비율 변동, 전통 수동 RIS, RIS 미배치 등 다양한 베이스라인을 비교한다. 결과는 PMHRL이 동일 환경에서 순수 PPO, 순수 DQN, 파라미터 공유 없이 하이브리드 적용한 경우보다 평균 12~18% 높은 EE를 달성함을 보여준다. 특히, MF‑RIS가 제공하는 능동 증폭과 EH가 결합될 때, 사용자 수가 증가해도 EE 감소율이 완만해지는 경향을 보이며, 이는 차세대 초고밀도 네트워크에서 MF‑RIS의 실용성을 입증한다.

이 논문의 주요 기여는 다음과 같다. 첫째, MF‑RIS의 다중 배치를 고려한 NOMA 다운링크 시스템 모델을 최초로 제시하고, EE 최적화를 위한 포괄적 변수 집합을 정의하였다. 둘째, 연속·이산 변수 혼합 최적화 문제에 적합한 다중 에이전트 하이브리드 DRL 프레임워크와 파라미터 공유 기법을 설계하여 학습 효율성을 크게 개선하였다. 셋째, 다양한 시나리오 실험을 통해 MF‑RIS와 하이브리드 DRL이 결합될 경우 전통 RIS·EH 미지원 시스템 대비 에너지 효율이 현저히 우수함을 실증하였다. 이러한 결과는 차세대 6G 네트워크에서 RIS 기반 스마트 라디오 환경을 구현하는 데 중요한 설계 지침을 제공한다.