다중모드 STAR RIS 기반 NOMA 시스템의 물리계층 보안 최적화

본 논문은 차세대 무선 통신에서 핵심 기술로 부상하고 있는 재구성 지능형 표면(Reconfigurable Intelligent Surface, RIS)의 확장형인 3중 모드 동시에 전송‑반사‑재밍(STAR‑RIS)을 도입하여, 물리계층 보안을 강화한 비직교 다중 접속(NOMA) 시스템을 설계한다. 기존 RIS는 반사 전용으로 동작해 표면의 한쪽 면에만 사용자 서비스를 제공하는 제한이 있었으며, 전송 모드가 없는 구조적 한계 때문에 전파 환경을 완전히 제어하기 어려웠다. 이를 극복하고자 저자는 각 RIS 요소가 전송(T), 반사(R), 재밍(J) 중 하나를 독립적으로 선택하도록 하는 모드 스위칭(MS) 프로토콜을 적용한다. 시스템 모델은 다중 안테나(Base Station, BS)와 두 단일 안테나 사용자(U1, U2)를 포함한다. U1은 전송 측에, U2는 반사 측에 위치하며, 전송 측 사용자는 BS와 직접 LOS 경로가 없고, 반사 측 사용자는 BS와의 직접 링크가 무시될 정도로 약한 환경을 가정한다. 또한, 반사 측에 도청자(Eve)가 존재해 보안 위협을 가한다. 채널은 BS‑RIS 행렬 H_br (K×N), RIS‑U1 벡터 h_r1, RIS‑U2 벡터 h_t2, RIS‑Eve 벡터 h_re, 그리고 직접 링크 h_b1, h_be 로 구성된다. 전송 신호는 x = w_1 s_1 + w_2 s_2 형태이며, w_1, w_2는 BS의 능동 빔포밍 벡터이다. RIS의 각 모드에 대응하는 대각 위상 행렬은 Θ_r, Θ_t, Θ_j 로 정의되고, 모드 선택 이진 변수 β_r,k, β_t,k, β_j,k (k=1…K) 가 각각 0 또는 1 값을 갖는다. 독점성 제약 β_r,k+β_t,k+β_j,k=1을 통해 한 요소가 동시에 두 개 이상의 모드에 할당되지 않도록 한다. 위상 변수 θ_r,k, θ_t,k, θ_j,k는 연속값이며, 재밍 신호는 z = Θ_j H_br x 로 생성되어 RIS‑U1 및 RIS‑Eve에 간섭을 제공한다. 수신 SINR 식은 (7)–(10)과 같이 복합적인 형태를 띠며, 특히 재밍 항이 사용자와 도청자 모두에 영향을 미친다. 목표는 합률 R_11+R_22를 최대화하면서 도청자의 비밀 전송률 R_e1 ≤ τ (τ는 사전 정의된 보안 임계값) 를 만족시키는 것이다. 제약식에는 전송 전력 제한 ‖w_1‖^2+‖w_2‖^2 ≤ P_max, NOMA SIC 순서 보장(R_12 ≥ R_22), 모드 선택 독점성, 위상 범위, 그리고 보안 제약이 포함된다. 이 문제는 연속 변수(빔포밍, 위상)와 이산 변수(모드 선택), 그리고 비선형(분수형 SINR)·비볼록(순위 1) 제약이 혼합된 복합 정수 비볼록 최적화 문제(P1)이다. 저자는 이를 해결하기 위해 두 단계의 페널티 기반 교대 최적화 프레임워크를 제안한다. 첫 단계에서는 RIS 매트릭스를 고정하고 BS의 능동 빔포밍을 최적화한다. w_m을 반폭 행렬 W_m = w_m w_m^H 로 치환하고, 순위 1 제약을 반볼록 SDP(SDR) 형태로 완화한다. SINR을 보조 변수 r_11, r_22 등으로 대체하고, 로그 함수의 단조성을 이용해 목적함수를 보조 변수 s와 곱 형태의 부등식으로 변환한다. SIC 순서 제약은 r_12 ≥ r_22 로 바꾸고, AGM‑SOC 기법을 적용해 2차원 원뿔 제약으로 선형화한다. 도청자 보안 제약은 재밍 파워가 도청자 수신을 억제하도록 T r(H_e W_1 H_e^H R) ≤ σ^2 + T r(H_e W_1 H_e^H J) 로 근사한다. 최종 서브문제(P2)는 표준 SDP 솔버(CVX)로 해결 가능하다. 두 번째 단계에서는 고정된 W_1, W_2에 대해 RIS의 반사·전송·재밍 매트릭스(R,T,J)와 이산 모드 변수 β를 최적화한다. β는 0‑1 제약을 β(1‑β)≤0 형태의 이차 부등식으로 변환하고, 1차 테일러 전개를 통해 선형 근사한다. 동시에 β가 0 혹은 1에 수렴하도록 페널티 항 ζ·(β‑β^2) 를 목적함수에 추가하고, ζ를 점진적으로 증가시켜 이산 해에 수렴하도록 설계한다. 순위 1 제약은 Tr(R)−‖R‖_2 ≤ ε 와 같은 페널티 기반 순위 근사로 완화한다. 이 서브문제 역시 SDP 형태로 풀 수 있다. 두 단계는 교대로 반복되며, 각 반복마다 목적함수가 비감소함을 보장한다. 시뮬레이션 설정은 K=100 RIS 요소, N=4 BS 안테나, P_max=30 dBm, 잡음 전력 σ^2=−90 dBm 등 현실적인 파라미터를 사용한다. 비교 대상은 (i) 전통적인 반사‑전용 RIS, (ii) 전송‑반사 ES/TS 스킴, (iii) RIS 없이 NOMA 시스템이다. 결과는 제안된 3중 모드 STAR‑RIS가 합률을 약 25 % 이상, 비밀 전송률을 3 dB 수준 향상시키며, 특히 도청자 채널이 강할 때 재밍 모드가 큰 보안 이득을 제공함을 보여준다. 또한 페널티 기반 이산 최적화가 거의 최적에 근접한 β 배치를 도출함을 확인하였다. 결론적으로, 본 논문은 전송·반사·재밍을 동시에 지원하는 다중 모드 STAR‑RIS를 물리계층 보안 NOMA 시스템에 적용함으로써, 전파 환경을 전면적으로 제어하고, 합률과 보안 모두에서 기존 기술을 크게 능가하는 새로운 설계 패러다임을 제시한다. 향후 연구 과제로는 불완전 CSI 하에서의 강인 설계, 실시간 구현을 위한 저복잡도 알고리즘, 그리고 다중 사용자·다중 도청자 시나리오에 대한 확장 등이 있다.