그래프 드리프트에 강인한 암호화 악성 트래픽 탐지를 위한 MoE 기반 MalMoE

초록

MalMoE는 암호화된 네트워크 트래픽의 악성 흐름을 그래프 기반으로 분석하고, 시간에 따라 변하는 그래프 드리프트(통계·규모 변동)를 극복하기 위해 전문가 모델을 혼합하는 Mixture‑of‑Experts 구조를 도입한다. 1‑hop GNN‑유사 전문가와 재설계된 게이트를 통해 실시간·재학습‑프리 탐지를 구현한다.

상세 분석

본 논문은 암호화 트래픽 탐지에서 가장 큰 난관인 페이로드 비가시성을 그래프 기반 흐름 상호작용 분석으로 보완하고, 그 과정에서 발생하는 ‘그래프 드리프트’ 문제를 체계적으로 해결한다. 저자들은 두 가지 주요 드리프트 유형을 정의한다. 첫 번째는 흐름 통계 드리프트로, 네트워크 혼잡이나 서비스 변화에 따라 바이트·패킷 수·지속시간 등의 흐름 특성이 변한다. 두 번째는 그래프 규모 드리프트로, 전체 연결 수가 시간에 따라 급격히 변동한다. 기존 연구는 단일 GNN 모델을 사용해 전체 그래프를 학습하지만, 드리프트가 발생하면 훈련·테스트 분포 차이로 성능이 급격히 저하된다.

흥미로운 점은 저자들이 ‘노드 피처’ 자체가 드리프트에 대한 내성을 가지고 있다는 실험적 인사이트를 발견했다는 것이다. 평균 트래픽 피처(avg)는 이웃 흐름들의 통계 평균을 사용해 노드를 표현하므로, 그래프 규모가 변해도 상대적인 평균값은 크게 변하지 않아 규모 드리프트에 강인하다. 반면 노드 차수 피처(deg)는 연결 수 자체를 사용하므로, 흐름 통계가 변해도 차수는 크게 변하지 않아 통계 드리프트에 강인한다. 그러나 두 피처를 단순히 결합하면 서로의 약점이 섞여 전체 성능이 오히려 악화된다.

이 문제를 해결하기 위해 저자들은 Mixture‑of‑Experts(MoE) 프레임워크를 도입한다. 각각의 전문가(Expert)는 하나의 피처 타입만을 사용해 1‑hop GNN‑유사 구조로 edge‑level(흐름 수준) 분류를 수행한다. ‘Avg‑Expert’는 평균 트래픽 피처를, ‘Deg‑Expert’는 차수 피처를 입력으로 받아 각각 규모·통계 드리프트에 최적화된 판단을 제공한다.

게이트(gate) 모델은 기존 MoE의 가중합 방식이 아닌 ‘하드 셀렉션’ 방식을 채택한다. 즉, 각 흐름에 대해 가장 적합한 전문가를 하나만 선택하도록 학습한다. 이를 위해 게이트 입력에 개별 흐름의 피처뿐 아니라 전체 그래프의 임베딩을 추가해 near‑OOD(분포 근접 이상치) 샘플을 구분하도록 설계하였다. 하드 셀렉션은 학습 안정성을 높이고, 전문가 선택 이유를 해석 가능하게 만든다.

학습 단계는 두 단계로 나뉜다. 1단계에서는 데이터 증강을 통해 인위적으로 다양한 드리프트 상황을 생성하고, 각 전문가를 독립적으로 사전 학습한다. 2단계에서는 증강된 데이터와 실제 라벨을 이용해 게이트를 훈련한다. 이렇게 하면 전문가가 이미 특정 드리프트에 강인하도록 학습된 상태에서, 게이트는 상황에 맞는 전문가를 정확히 라우팅하는 역할만 수행한다.

실험 결과는 세 가지 데이터셋(공개, 합성, 실제 백본 트래픽)에서 일관되게 나타난다. 그래프 드리프트가 존재할 때 MalMoE는 기존 GNN 기반 방법보다 평균 24% 높은 정확도와 31% 높은 F1 점수를 기록한다. 또한 858,646 흐름/초의 처리량을 달성해 실시간 탐지 요구를 충족한다.

전반적으로 이 논문은 (1) 그래프 드리프트를 피처 수준에서 사전 분리하고, (2) MoE를 통해 전문가를 동적으로 선택함으로써 재학습 없이도 환경 변화에 적응하는 프레임워크를 제시한다는 점에서 의미가 크다. 또한 1‑hop GNN‑유사 구조와 하드 셀렉션 게이트 설계는 계산 효율성과 해석 가능성을 동시에 확보한다는 장점이 있다. 향후 연구에서는 더 다양한 피처 타입·전문가를 추가하거나, 멀티‑hop 구조를 확장해 복잡한 공격 시나리오에도 적용할 여지가 있다.