동적 QoS 라우팅을 위한 확률적 모듈형 접근

초록

본 논문은 트래픽 변동과 토폴로지 변화에 실시간으로 대응하는 다중경로 라우팅을 위해, 정적·동적 QoS 지표를 결합한 비용 함수를 기반으로 Q‑Learning 기반 강화학습 알고리즘을 설계한다. K개의 후보 경로를 사전 선정하고, 각 경로에 대한 사용 비율을 확률적으로 조정함으로써 평균 전송 지연과 누적 비용을 최소화한다. OPNET 시뮬레이션 결과, 기존 SPF·SOMR 대비 혼잡 상황에서 평균 전송 지연이 15 % 이상 개선됨을 보인다.

상세 분석

이 연구는 현재 네트워크에서 발생하는 급격한 트래픽 변동과 토폴로지 변화에 대응하기 위해 두 단계의 모듈형 구조를 제안한다. 첫 번째 모듈은 정적 메트릭(대역폭, 홉 수, 기본 지연, 오류율 등)을 이용해 K개의 최적 후보 경로를 선정한다. 여기서는 Eppstein의 K‑Shortest‑Path 알고리즘을 변형하여 비용이 낮은 경로를 효율적으로 추출한다. 두 번째 모듈은 강화학습 기반의 Q‑Learning을 적용해 각 경로의 동적 비용을 실시간으로 업데이트한다. 동적 비용은 현재 큐 길이, 패킷 손실률, 실제 측정 지연, 지터 등을 포함하며, 이는 다중목표 최적화 문제를 NP‑Complete 수준으로 만든다. 따라서 저자는 비용 함수를 두 개의 주요 목표(누적 비용과 전송 지연)로 제한하고, 확률적 탐색 메커니즘을 도입한다. 구체적으로 KSPQR(K‑Shortest‑Path Q‑Routing)에서는 최적 경로에 최대 확률 Pmax를 할당하고 나머지 K‑1 경로에 균등하게 (1‑Pmax)/K의 확률을 부여한다. 반면 KOQRA(K‑Optimal‑Q‑Routing‑Adaptive)에서는 안테콜로니 최적화(ACO)에서 영감을 얻어, 각 경로의 지연 추정값과 라우터 대기시간을 이용해 적응형 확률을 계산한다. 이 확률은 라우터가 포화된 큐를 가진 인터페이스를 회피하도록 유도한다.

알고리즘의 학습 과정은 패킷이 라우터 간에 전송될 때마다 Q‑값을 업데이트하는 형태이며, 탐색‑활용 균형을 유지하기 위해 ε‑greedy와 유사한 전략을 적용한다. 또한, 학습 오버헤드를 최소화하기 위해 Q‑값 업데이트는 선택된 K개의 경로에만 제한한다.

시뮬레이션은 일본 NTTnet 토폴로지를 사용했으며, 트래픽 도착 간격을 포아송 분포로 모델링하였다. 실험은 저부하, 고부하, 피크 트래픽 세 시나리오로 나뉘어 수행되었다. 결과는 저부하에서는 전통적인 SPF와 SOMR이 약간 우수했지만, 고부하와 피크 상황에서는 KSPQR와 KOQRA가 평균 전송 지연을 각각 약 12 %와 15 % 감소시켰다. 이는 동적 비용을 실시간으로 반영하고, 확률적 탐색을 통해 혼잡 경로를 회피함으로써 네트워크 전반의 부하를 고르게 분산시킨 효과로 해석된다. 또한, 학습 과정에서 발생하는 제어 패킷의 오버헤드는 전체 트래픽 대비 미미한 수준으로, 실용적인 적용 가능성을 시사한다.

이 논문의 주요 기여는 (1) 정적·동적 QoS 메트릭을 통합한 비용 모델링, (2) K‑Shortest‑Path 기반 후보 경로 선정과 강화학습을 결합한 두 단계 라우팅 프레임워크, (3) 확률적 탐색을 통한 학습 효율성 향상, (4) 실제 네트워크 토폴로지를 이용한 실증적 성능 검증이다. 한계점으로는 학습 파라미터(Pmax, ε 등)의 튜닝이 실험 환경에 따라 민감하게 작용한다는 점과, 대규모 네트워크에서 후보 경로 K값이 증가할 경우 계산 복잡도가 급격히 상승한다는 점을 들 수 있다. 향후 연구에서는 다중 QoS 파라미터(대역폭, 손실률 등)를 동시에 강화학습 보상에 포함시키고, 분산형 학습 구조를 도입해 확장성을 확보하는 방향이 제시된다.