ReaCritic 무선 네트워크를 위한 추론 기반 트랜스포머 DRL 비평가 모델 확장

초록

본 논문은 이기종 네트워크(HetNet) 환경에서 DRL 에이전트의 가치 추정 정확성을 높이기 위해, 비평가(critic) 네트워크에 트랜스포머 기반의 추론 메커니즘을 도입한 ReaCritic 프레임워크를 제안한다. 수평적(Horizontal) 및 수직적(Vertical) 추론 구조를 통해 고차원 상태‑액션 공간을 효율적으로 처리하고, 기존 MLP 기반 비평가 대비 빠른 수렴과 향상된 일반화 성능을 입증한다.

상세 분석

ReaCritic 논문은 HetNet과 같은 고차원, 비정상적인 무선 환경에서 DRL 의 확장성 한계를 비평가 모듈에 초점을 맞추어 해결하고자 한다. 기존 DRL 시스템은 주로 MLP‑ 기반 비평가를 사용해 관측값을 바로 스칼라 Q값으로 매핑하는데, 이는 상태 변수 간의 복잡한 상관관계와 다목적 QoS 목표(지연, 스루풋, 에너지 효율 등)를 포착하기에 부족하다. 저자는 LLM 의 추론 능력이 ‘아키텍처적’ 특성, 즉 셀프‑어텐션과 계층적 합성에 기인한다는 점을 강조하고, 이를 DRL 비평가에 직접 적용함으로써 외부 LLM 의 비결정성·연산 비용 문제를 회피한다.

핵심 설계는 두 가지 추론 차원을 도입한다. 첫 번째인 Horizontal Reasoning (HRea) 은 동일 시점에 여러 state‑action 쌍을 토큰화하여 병렬적으로 처리함으로써 고차원 입력의 폭넓은 상관관계를 탐색한다. 이는 기존 MLP 가 입력을 일렬 벡터로 평탄화하는 방식과 달리, 각 토큰이 독립적인 컨텍스트를 유지하면서 상호작용하도록 만든다. 두 번째인 Vertical Reasoning (VRea) 은 트랜스포머 블록을 깊게 쌓아 계층적 추론을 수행한다. 각 블록은 저차원 토큰 표현을 점진적으로 추상화해, 장기 의존성 및 비정상적인 채널 변동을 안정적으로 학습한다. 이러한 수평·수직 구조는 비평가가 입력 복잡도에 따라 연산량을 동적으로 조절하도록 설계돼, 복잡도가 높은 상황에서는 더 많은 토큰·블록을 활성화하고, 간단한 상황에서는 경량화된 경로를 선택한다.

통합 측면에서 ReaCritic 은 기존 actor‑critic 파이프라인과 호환된다. 비평가만 트랜스포머 기반으로 교체함으로써 정책 네트워크(Actor)는 그대로 유지되며, 학습 안정성을 해치지 않는다. 또한 중앙집중식 배치 학습 방식을 채택해, 에지 디바이스에 과도한 연산 부담을 주지 않으며, 대규모 사용자·기지국 간의 전역 최적화를 가능하게 한다.

실험에서는 HetNet 시뮬레이션과 OpenAI Gym 연속 제어 과제를 모두 사용했다. HetNet 실험에서는 사용자 수, 베이스 스테이션 층수, 채널 페이딩 등 다양한 파라미터를 변동시켜 비정상성을 강조했으며, ReaCritic 은 MLP‑critic 대비 평균 15~20% 빠른 수렴과 최종 보상에서 10% 이상 향상을 기록했다. Gym 실험에서도 DDPG, SAC 등 기존 알고리즘에 ReaCritic 을 적용했을 때, 샘플 효율성과 최종 성능이 유의미하게 개선되었다.

한계점으로는 트랜스포머 기반 비평가의 파라미터 규모가 커짐에 따라 학습 초기 메모리·연산 요구가 증가한다는 점이다. 논문에서는 수평·수직 토큰 수(V, H)를 조절해 경량화 옵션을 제시했지만, 실제 에지 환경에서 실시간 추론을 수행하려면 추가적인 모델 압축(프루닝, 양자화) 연구가 필요하다. 또한, 수평 추론 토큰을 어떻게 효율적으로 샘플링할지에 대한 이론적 근거가 부족해, 토큰 선택 전략이 성능에 미치는 영향을 더 체계적으로 분석할 여지가 있다.

전반적으로 ReaCritic 은 DRL 비평가에 트랜스포머 기반 추론을 도입함으로써, 고차원·비정상적인 무선 네트워크 제어 문제에 대한 확장성과 일반화 능력을 크게 향상시킨 혁신적인 접근이다. 향후 멀티‑에이전트 설정, 온라인 압축, 그리고 비평가‑정책 간의 공동 트랜스포머 설계 등으로 연구 범위를 넓힐 수 있다.