모델프리 강화학습 기반 의미통신 설계 확률정책 기울기 활용

초록

본 논문은 채널 모델이 알려지지 않거나 미분 가능하지 않은 상황에서도 전송기와 수신기를 독립적으로 학습할 수 있도록, 확률정책 기울기(Stochastic Policy Gradient, SPG)를 이용한 모델프리 강화학습 프레임워크를 제안한다. 의미통신의 목표를 상호정보 최대화로 정식화하고, 이를 정보병목(Information Bottleneck) 관점과 연결시켜 전통 및 의미 기반 전송 설계에 적용한다. 실험 결과, 재파라미터화 기법을 사용한 모델 인식 접근법과 비슷한 성능을 보이지만 수렴 속도가 다소 느리다는 점을 확인한다.

상세 분석

이 논문은 의미통신을 “z → s → x → y → \hat{z}” 라는 마코프 체인으로 모델링하고, 전송기 pθ(x|s)와 수신기 qϕ(z|y)를 각각 파라미터화된 확률분포로 정의한다. 핵심 목표는 수신된 신호 y가 원본 의미 변수 z에 대해 최대의 상호정보 Iθ(z;y)를 갖도록 하는데, 이는 정보병목(IB) 최적화 문제와 동일하게 표현된다. 기존 방법은 재파라미터화 기법을 이용해 pθ(y|s) 를 미분 가능하게 만들어 정책 기울기를 직접 계산했지만, 이는 채널 모델이 정확히 알려져 있어야 한다는 제약이 있다.

논문은 이러한 제약을 없애기 위해 전송기의 정책을 확률적(pθ(x|s) ≠ δ(x‑μθ(s))) 로 두고, REINFORCE 형태의 로그‑트릭을 적용한다. 구체적으로 손실 L_SP Gθ = (1/N) Σ_i ln pθ(x_i|s_i)·