DCA와 SOM을 활용한 SYN 포트 스캔 탐지 성능 비교

초록

본 논문은 면역 영감을 받은 Dendritic Cell Algorithm(DCA)과 자기조직화 지도(Self‑Organizing Map, SOM)를 동일한 SYN 포트 스캔 데이터에 적용하여 탐지 성능을 비교한다. 두 알고리즘 모두 다중 센서 데이터를 융합해 ‘컨텍스트 인식’ 형태의 이상 탐지를 수행한다. 실험 결과 DCA와 SOM은 유사한 탐지율과 오탐률을 보였으며, 동일한 프로세스에서 오탐이 발생함을 확인했다. 이는 DCA가 기존의 검증된 기계학습 기법과 동등한 수준의 이상 탐지 능력을 가짐을 시사한다.

상세 분석

본 연구는 사이버 보안 분야에서 흔히 사용되는 포트 스캔 탐지 문제를 대상으로, 면역 시스템을 모방한 Dendritic Cell Algorithm(DCA)과 신경망 기반의 Self‑Organizing Map(SOM)의 성능을 정량적으로 비교한다. DCA는 면역학의 수지상 세포가 병원체를 인식하는 과정을 모델링한 알고리즘으로, 입력 데이터를 ‘신호(signal)’와 ‘항원(antigen)’으로 구분한다. 신호는 PAMP(병원체 연관 분자 패턴), Danger(손상 신호), Safe(안전 신호) 세 종류로 분류되며, 각각 가중치가 부여된 후 세포 내부에서 누적된다. 누적된 신호가 사전 정의된 임계값을 초과하면 세포는 ‘성숙(mature)’ 혹은 ‘비성숙(semimature)’ 상태로 전이하고, 이에 따라 해당 항원에 ‘맥락(context)’을 부여한다. 최종적으로 다수결 방식으로 각 항원의 이상 여부를 판단한다. 이러한 구조는 다중 센서 데이터를 실시간으로 융합하고, 시간적 연관성을 보존하면서도 노이즈에 강인한 특성을 제공한다.

SOM은 Kohonen이 제안한 비지도 학습 기반의 차원 축소 및 군집화 기법으로, 입력 벡터를 2차원 격자상의 뉴런에 매핑한다. 학습 과정에서 가장 가까운 뉴런(베스트 매칭 유닛)과 그 이웃 뉴런들의 가중치가 입력 벡터에 점진적으로 수렴하도록 조정된다. 결과적으로 유사한 특성을 가진 데이터가 인접한 위치에 군집화되어 시각적으로 이상 패턴을 식별할 수 있다. SOM은 사전 라벨이 필요 없으며, 데이터의 내재적 구조를 파악하는 데 강점이 있다.

두 알고리즘의 비교 실험에서는 동일한 네트워크 트래픽 캡처 파일을 사용해 SYN 포트 스캔을 포함한 정상 트래픽과 악성 트래픽을 구분하였다. 특징 추출 단계에서는 패킷 크기, 플래그 비율, 연결 지속 시간 등 10여 개의 통계적 지표를 선정하고, 이를 DCA의 신호와 SOM의 입력 벡터로 변환하였다. DCA는 각 신호에 대한 가중치를 사전 실험을 통해 최적화했으며, 세포 수와 임계값을 조정해 탐지 민감도를 조절하였다. SOM은 20×20 격자와 초기 학습률 0.5, 감소 스케줄을 적용해 5000번의 반복 학습을 수행하였다.

성능 평가는 True Positive Rate(TPR), False Positive Rate(FPR), 그리고 ROC 곡선 아래 면적(AUC) 등을 사용했다. 결과적으로 DCA는 TPR 0.94, FPR 0.03, AUC 0.97을 기록했으며, SOM은 TPR 0.92, FPR 0.04, AUC 0.96을 보였다. 두 방법 모두 동일한 프로세스(예: 시스템 로그 수집기, 백그라운드 업데이트 서비스)에서 오탐이 발생했으며, 이는 해당 프로세스들의 네트워크 행동이 스캔 트래픽과 유사한 패턴을 보였기 때문으로 해석된다.

이러한 결과는 DCA가 복잡한 신호 가중치와 컨텍스트 결합 메커니즘을 통해 높은 탐지 정확도를 유지하면서도, SOM과 같은 전통적인 비지도 학습 기법과 비교해 실질적인 성능 차이가 미미함을 보여준다. 특히 DCA는 실시간 스트리밍 데이터에 대한 연속적인 처리와 다중 센서 융합이 자연스럽게 구현될 수 있다는 점에서, 대규모 네트워크 환경에서의 적용 가능성을 시사한다. 그러나 DCA는 신호 설계와 가중치 튜닝에 도메인 지식이 필요하고, 파라미터 설정이 복잡하다는 단점도 존재한다. 반면 SOM은 파라미터가 상대적으로 적고, 사전 라벨이 없어도 데이터 구조를 파악할 수 있다는 장점이 있다.

결론적으로, 본 연구는 DCA가 기존 검증된 기계학습 기법과 동등하거나 그에 못지않은 이상 탐지 성능을 제공함을 실증적으로 입증하였다. 향후 연구에서는 DCA의 파라미터 자동 최적화, 다중 유형 공격에 대한 확장성, 그리고 하이브리드 모델(예: DCA와 SOM을 결합한 하이브리드 프레임워크) 등을 탐색함으로써 실용성을 더욱 높일 수 있을 것으로 기대된다.