6G RAN 슬라이스 지연 스파이크 해결을 위한 해석 가능한 어텐션 기반 다중 에이전트 PPO

초록

본 논문은 6G O‑RAN 환경에서 급격한 지연 스파이크를 실시간으로 진단·완화하고, 그 과정에서 zero‑cost의 신뢰성 있는 설명을 제공하는 AE‑MAPPO 프레임워크를 제안한다. 6G 슬라이스(URRLC, eMBB, mMTC)의 SLA를 만족시키면서 18 ms 이내에 지연 스파이크를 해결하고, 트러블슈팅 시간을 93 % 단축한다.

상세 분석

AE‑MAPPO는 기존 DRL 기반 슬라이스 제어가 갖는 블랙박스 문제를 근본적으로 해결하기 위해, 정책 네트워크 내부에 여섯 개의 특화된 어텐션 모듈을 삽입한다. 의미 어텐션은 버퍼 오버플로우·SNR 등 SLA에 직접적인 영향을 미치는 상태 변수를 강조하고, 시간 어텐션은 단기·주기적 트래픽 패턴을 포착한다. 교차‑슬라이스 어텐션은 서로 다른 슬라이스 간의 간섭 정도를 정량화해 자원 재분배 근거를 제공한다. 신뢰도 어텐션은 상태 특성의 엔트로피 기반 불확실성을 측정해 과도한 할당을 억제하고, 반사실 어텐션은 현재 선택 행동과 대안 행동을 비교해 “what‑if” 설명을 생성한다. 메타‑컨트롤러는 이 다섯 개 어텐션의 가중치를 동적으로 조정해 상황에 맞는 최적의 의사결정을 만든다. 이러한 어텐션 가중치는 정책이 선택한 자원 할당과 동일한 시점에 출력되므로, 별도의 후처리 없이 바로 운영자에게 제공되는 ‘faithful’ 설명이 된다.

문제 정의에서는 SLA를 만족시키는 다목적 효용 함수와 별도 설명 효용 E를 가중합 형태로 결합한다. 설명 효용은 (1) 희소성 E_sparse — 어텐션 분포의 엔트로피를 최소화, (2) 일관성 E_cons — 유사 상태 간 어텐션 유사도 유지, (3) 신뢰성 E_faith — 정책 그라디언트와 어텐션 간 상관관계 극대화를 각각 정량화한다. 이 세 요소를 가중치 (η₁, η₂, η₃) = (0.3, 0.3, 0.4) 로 조합해 전체 목표 U_total + w_xrl E 를 최적화한다.

학습은 다중 에이전트 PPO(MAPPO) 구조를 사용해 각 슬라이스별 에이전트가 독립적으로 행동하지만, 공유 어텐션 모듈을 통해 협업한다. 보상은 슬라이스 효용 U_n 과 설명 효용 E 의 가중합으로 정의돼, 성능과 해석 가능성을 동시에 강화한다. 또한 O‑RAN 타임스케일에 맞춰 100 ms 예측‑단계, 10 ms 반응‑단계, 50 ms 교차‑슬라이스 최적화‑단계의 세 단계 전략을 도입해 장기 예측과 초단기 SLA 복구를 모두 달성한다.

실험에서는 URLLC 슬라이스에 발생한 1.15 ms → 0.98 ms 지연 스파이크를 18 ms 내에 완화하고, 전력·PRB 재분배 비율을 조정해 eMBB·mMTC 연속성을 유지한다. 전통적인 수동 트러블슈팅이 평균 11.5 분 소요되는 반면, AE‑MAPPO는 0.8 분(93 % 시간 절감) 내에 해결한다. 설명 측면에서도 의미 어텐션이 버퍼 오버플로우(0.89), 교차 어텐션이 eMBB 간섭(0.76), 시간 어텐션이 일일 패턴을 식별해 운영자가 원인 파악을 즉시 수행할 수 있게 한다.

전반적으로 AE‑MAPPO는 (1) 급격한 지연 스파이크에 대한 실시간 대응, (2) SLA 유지와 자원 효율성 확보, (3) 정책 내부에서 직접 생성되는 신뢰성 높은 설명 제공이라는 세 축을 동시에 만족시키는 혁신적인 프레임워크라 할 수 있다. 다만 어텐션 모듈의 설계 복잡성 및 메타‑컨트롤러 파라미터 튜닝 비용, 대규모 실운용 환경에서의 확장성 검증이 향후 과제로 남는다.