도메인 차이를 극복한 사이버 공격 전이 학습: 적대적 시암쌍 신경망 기반 트라이아지 모델

초록

본 논문은 서로 다른 네트워크 환경에서 수집된 트래픽 데이터의 분포 차이를 극복하기 위해, CORAL 기반 전이와 단순 모델 복제에 비해 적대적 시암쌍(Siamese) 신경망과 ListMLE 순위 손실을 결합한 새로운 반감도(semisupervised) 학습 프레임워크를 제안한다. UNSW NB‑15와 CICIDS2017 두 공개 데이터셋의 DoS 공격을 대상으로 실험했으며, 기존 방법은 첫 100개의 상위 이벤트에서 악성 탐지를 전혀 못하는 반면, 제안 모델은 일정 비율의 악성 이벤트를 회수한다. 다만 적대적 학습 특성상 훈련 불안정성이 존재한다.

상세 분석

이 연구는 사이버 보안 분야에서 전사적 위협 공유를 위한 전이 학습 문제를 명확히 정의하고, 두 가지 주요 접근법을 비교한다. 첫 번째는 CORAL(Correlation Alignment)이라는 2차 통계량 정렬 기법으로, 소스와 타깃 도메인의 공분산 행렬을 맞추어 특성 공간을 정규화한다. 그러나 CORAL은 샘플 간 대응 관계를 고려하지 않으며, 본 논문에서 사용한 UNSW NB‑15와 CICIDS2017은 특성 분포 자체가 Kuiper 검정에서 p‑값 0을 보일 정도로 크게 다르기 때문에, 단순 공분산 정렬만으로는 의미 있는 전이가 이루어지지 않는다.

두 번째는 제안된 적대적 시암쌍 신경망이다. 기본 구조는 입력을 임베딩하는 피드포워드 네트워크(E), 순위 손실을 담당하는 ListMLE 헤드(L), 그리고 도메인 구분을 위한 시암쌍 대조 손실(D)으로 구성된다. ListMLE는 “가장 위험한” 악성 흐름을 상위에 배치하도록 설계돼, 실제 SOC(보안 운영 센터)에서 분석가가 제한된 시간 안에 검토할 이벤트를 효율적으로 선별한다. 시암쌍 네트워크는 두 도메인(UNSW, CICIDS)에서 추출된 흐름을 쌍으로 입력받아, 동일 도메인 쌍은 0, 다른 도메인 쌍은 1 라벨을 부여하고, 마진 m = 2를 이용한 대조 손실을 최소화한다. 이때 역전파 단계에서 도메인 구분 손실은 기본 분류 손실에 반대 방향으로 전파되는 ReverseGrad 기법을 적용해, 임베딩이 도메인에 무관하도록 강제한다.

훈련 과정은 두 개의 미니배치를 병렬로 샘플링하고, 각각에 대해 ListMLE와 대조 손실을 계산한다. 이후 가중치는 ListMLE 손실에 대해 일반적인 경사 하강법을, 대조 손실에 대해서는 경사 상승법(즉, 부호 반전)으로 업데이트한다. 이러한 적대적 게임 구조는 도메인 불변 특성을 학습하게 하지만, GAN‑유사 모델 특성상 학습이 불안정해지는 현상이 보고되었다.

실험에서는 두 데이터셋에서 DoS 공격을 1:1 비율로 재구성하고, 상위 100개의 이벤트에 대한 “Rolling TopN Accuracy”를 측정했다. Naïve 전이와 CORAL은 상위 100개 중 악성 탐지율이 0%에 머물렀으나, 적대적 모델은 약 30%~45% 수준의 악성 회수율을 보였다. 이는 순위 기반 손실이 실제 운영 환경에서 요구되는 “최우선 알림” 특성을 반영한 결과로 해석된다. 다만, 훈련 과정에서 손실 진동과 수렴 실패가 간헐적으로 발생했으며, 이는 하이퍼파라미터(학습률, 마진, 손실 가중치) 튜닝이 필요함을 시사한다.

결론적으로, 도메인 간 통계적 차이가 큰 사이버 트래픽 데이터에 대해 단순 통계 정렬만으로는 효과적인 전이가 어려우며, 적대적 시암쌍 구조와 순위 손실을 결합한 접근법이 실용적인 트라이아지 성능을 제공한다. 향후 연구에서는 보다 견고한 역전파 스케줄링, 도메인 라벨링이 제한된 상황에서의 메타‑학습, 그리고 다중 도메인(>2) 확장을 통해 전사적 위협 인텔리전스 플랫폼에 적용 가능한 모델을 개발할 필요가 있다.