실시간 로그 스트리밍을 위한 온라인 란초스 기반 빠른 봇넷 탐지

초록

본 논문은 웹 서버 로그 스트림에서 봇넷을 실시간으로 탐지하기 위해, 기존 PCA의 O(N³) 복잡도를 서브큐빅 수준으로 낮춘 온라인 란초스(Lanczos) 알고리즘을 제안한다. 슬라이딩 윈도우 방식으로 로그를 처리하고, 호스트‑요청 행렬의 상관관계 행렬을 효율적으로 업데이트하는 일반화된 수식을 도출하였다. 새로운 종료 조건을 적용해 필요한 고유값만 빠르게 얻으며, 실험 결과 Lanczos 기반 탐지가 기존 PCA 대비 20~25%의 시간만 소요됨을 확인하였다.

상세 분석

이 논문은 두 가지 핵심 기술적 기여를 제시한다. 첫째, 스트리밍 로그에 적용 가능한 온라인 상관행렬 업데이트 식을 도입하였다. 로그를 호스트‑요청 매트릭스로 변환한 뒤, 슬라이딩 윈도우가 이동할 때 발생하는 행·열 추가·삭제·값 변동을 수학적으로 모델링하고, 평균·표준편차 재계산을 O(m·Δ) 수준(Δ는 윈도우 이동량)으로 축소한다. 이는 기존에 전체 행렬을 재계산하던 O(m·n) 비용을 크게 절감한다.

둘째, PCA의 핵심인 가장 큰 고유값(주성분 가중치)을 구하기 위해 Lanczos 반복법을 적용하였다. Lanczos는 대칭 행렬에 대해 삼대각 행렬 T_k를 생성하고, 그 고유값이 원 행렬의 극값에 수렴한다는 이론적 보장을 갖는다. 논문은 다음과 같은 두 가지 혁신을 더한다. ① 오류 상한과 대칭 행렬의 고유값 비감소성을 이용한 조기 종료 조건을 제시해, 필요 고유값이 충분히 정확히 추정되면 반복을 중단한다. ② 실제 로그 데이터의 특성을 반영해, k(반복 횟수)를 고정하지 않고 동적으로 결정함으로써 연산량을 최소화한다.

실험에서는 100 k 로그 엔트리를 30분 간격으로 수집한 전자상거래 사이트 데이터를 사용하였다. 슬라이딩 윈도우 길이를 5 분, 10 분, 30 분으로 변동시키며, PCA와 Lanczos 기반 탐지의 실행 시간을 비교했다. 결과는 모든 윈도우에서 Lanczos가 PCA 대비 4~5배 빠른 것으로 나타났으며, 탐지 정확도(주성분 가중치 임계값 초과 여부)는 동일하거나 약간 향상되었다. 특히, 작은 윈도우에서도 상관관계가 충분히 포착되어 민감도가 유지되었다.

하지만 몇 가지 한계도 존재한다. 첫째, 상관행렬이 매우 희소한 경우(예: 수천 개 호스트 중 대부분이 한 번도 요청하지 않을 때) Lanczos의 수렴 속도가 떨어질 수 있다. 둘째, 현재 구현은 호스트 식별자를 고정된 차원(수천)으로 가정하고, 차원 변동(새로운 IP가 지속적으로 등장) 시 재구성이 필요하다. 셋째, 임계값 설정이 데이터셋에 의존적이며, 자동화된 이상치 탐지와 결합되지 않으면 운영자가 직접 튜닝해야 하는 부담이 있다.

전반적으로, 온라인 Lanczos와 효율적인 상관행렬 업데이트를 결합한 접근법은 실시간 봇넷 탐지에 필요한 고성능·저지연 요구를 충족시키며, 기존 PCA 기반 방법보다 실용적인 대안을 제공한다. 향후 연구에서는 희소 행렬 전용 Lanczos 변형, 자동 임계값 학습, 그리고 다중 특성(예: 사용자 에이전트, 세션 길이) 통합을 통해 탐지 정확도와 확장성을 더욱 강화할 수 있을 것이다.