네트워크 트래픽 매트릭스 예측을 위한 LLM‑Adapter 기반 조건부 확산 모델 LEAD

초록

본 논문은 대규모 언어 모델(LLM)을 경량 어댑터와 결합한 조건부 확산 모델 LEAD를 제안한다. 트래픽 매트릭스를 RGB 이미지로 변환해 비전 백본으로 전역 의존성을 학습하고, 고정된 LLM에 어댑터를 삽입해 시간적 의미를 효율적으로 추출한다. 추출된 전역·순차 조건을 듀얼‑컨디셔닝 방식으로 확산 U‑Net에 전달해 미래 트래픽 매트릭스를 확률적으로 생성한다. Abilene·GEANT 데이터셋에서 RMSE 기준 45 %·27 % 수준의 성능 향상을 달성하며, 장기 예측에서도 오차 증가가 미미하다.

상세 분석

LEAD는 네트워크 트래픽 매트릭스(Traffic Matrix, TM) 예측이라는 전통적인 시계열 회귀 문제를 ‘시각‑언어‑생성’ 삼중 구조로 재구성한다. 첫 단계에서 TM을 0‑1 정규화 후 3‑채널(RGB) 이미지로 매핑함으로써, 각 행·열이 네트워크 노드 간 흐름을 픽셀 강도로 표현한다. 이 이미지화는 기존 GNN‑기반 접근법이 겪는 그래프 정의 의존성 및 과‑스무딩 문제를 회피하고, 사전 학습된 비전 모델(ViT, ConvNeXt 등)의 계층적 특징 추출 능력을 활용한다. 그러나 네트워크 트래픽은 공간적 희소성과 비연속성을 갖기에 순수 비전 인코더만으로는 시간적 패턴(일주기, 급증 등)을 포착하기 어렵다. 이를 보완하기 위해 저자는 고정된 대규모 언어 모델(Qwen2‑0.5B)을 사용하고, 파라미터 효율성을 위해 LLaMA‑Adapter와 유사한 경량 어댑터를 삽입한다. 어댑터는 시계열 토큰(예: 각 이미지 프레임을 패치화한 후 순차적으로 입력)과 LLM 내부의 self‑attention 메커니즘을 연결해, 장기 의존성을 저비용으로 학습한다.

LLM의 출력은 두 종류의 조건으로 분해된다. ① Global Condition은 전체 네트워크의 매크로 상태(예: 전체 부하 수준, 주요 경로 포화도)를 요약한 벡터이며, ② Sequential Condition은 시간 순서에 따른 미세 변동을 보존한 시퀀스 형태이다. 이 두 조건은 확산 모델의 U‑Net에 각각 cross‑attention 및 FiLM‑style modulation으로 주입된다. 확산 과정은 전통적인 DDPM의 노이즈 스케줄을 따르지만, 조건부 입력이 풍부해짐에 따라 노이즈 제거 단계에서 보다 정교한 확률 분포를 학습한다. 결과적으로 LEAD는 단순 평균 제곱오차(RMSE)뿐 아니라 예측 분포의 폭을 제공해, 급격한 트래픽 폭주 상황에서도 신뢰도 높은 예측을 가능하게 한다.

실험에서는 Abilene(11 노드)와 GEANT(23 노드) 두 실제 백본 네트워크 데이터를 사용했다. 베이스라인으로는 ARIMA, LSTM, DCRNN, STGCN, Graph‑WaveNet, CSDI, TimeGrad 등을 포함했으며, 모든 비교 모델은 동일한 입력‑예측 윈도우(T_in = 12, T_out = 20)로 학습되었다. LEAD는 1‑step 예측에서 RMSE 0.1098, 20‑step 예측에서 RMSE 0.1134(Abilene)로, 가장 좋은 베이스라인 대비 45.2 % 감소를 기록했다. GEANT에서는 20‑step에서 RMSE 0.0258을 달성해 27.3 % 개선을 보였다. 또한, 예측 오차의 성장률이 매우 완만해 장기 예측 안정성이 뛰어나다는 점을 강조한다.

한계점으로는 이미지 변환 과정에서 정보 손실 가능성, LLM 어댑터 학습 시 데이터 양에 대한 민감도, 그리고 확산 모델의 추론 지연이 실시간 네트워크 제어에 미치는 영향이 있다. 향후 연구에서는 멀티‑스케일 이미지 표현, 라이트‑웨이트 비전‑LLM 결합 구조, 그리고 하드웨어 가속을 통한 실시간 배포 방안을 탐색할 필요가 있다.