대용량 로그 저장 및 이상 탐지를 위한 데이터 레이크 아키텍처

초록

본 논문은 CERN 내부 10,000명 이상의 사용자와 수천 대의 디바이스가 생성하는 데이터베이스 연결 로그를 수집·저장·시각화하고, 머신러닝 기반 이상 탐지 모델을 적용하는 빅데이터 아키텍처를 제안한다. Apache Flume 에이전트를 통해 로그를 HDFS와 Elasticsearch/Kibana에 전송하고, K‑Nearest Neighbours, K‑Means, Isolation Forest, Local Outlier Factor, One‑Class SVM 등 다양한 알고리즘을 앙상블하여 비정상 연결을 식별한다.

상세 분석

이 연구는 대규모 기업 환경에서 발생하는 방대한 양의 데이터베이스 연결 로그를 효율적으로 처리하기 위한 전체 파이프라인을 설계하였다. 첫 번째 핵심은 로그 수집 단계이다. 각 Oracle 데이터베이스 인스턴스에 배치된 Apache Flume 에이전트는 실시간으로 로그 이벤트를 캡처하고, 중앙 Flume Collector 로 전송한다. Flume 의 다양한 Source(Avro, Thrift, 파일)와 Sink(HDFS, Elasticsearch) 구성을 활용함으로써 데이터 손실 없이 높은 신뢰성을 확보한다. 특히, Flume 의 내장된 장애 복구 메커니즘과 채널(메모리, 파일) 튜닝 옵션은 10 000명 규모의 사용자 트래픽을 감당하도록 설계되었다.

수집된 로그는 두 갈래로 흐른다. 장기 보관을 위해 HDFS에 적재되어 데이터 레이크를 형성하고, 단기 분석 및 시각화를 위해 Elasticsearch 로 전송된다. Kibana 와 Grafana 를 이용한 대시보드는 실시간 모니터링을 가능하게 하며, 운영팀이 즉시 이상 징후를 파악하도록 돕는다. 로그 포맷은 JSON 으로 표준화되어 있어, 필드(타임스탬프, client_ip, client_user 등)를 손쉽게 추출하고, Spark 혹은 Hive 와 같은 빅데이터 처리 엔진과 연계할 수 있다.

다음 단계는 특징 벡터 생성이다. 논문은 연결 로그의 주요 속성을 선택해 수치형 및 범주형 특성으로 변환하고, 원-핫 인코딩 및 정규화를 적용한다. 이렇게 구성된 벡터는 시간‑시계열 특성을 보존하면서도 머신러닝 모델에 바로 투입될 수 있다.

이상 탐지 모델은 다중 알고리즘 앙상블 방식을 채택한다. K‑Nearest Neighbours 와 K‑Means 는 거리·밀도 기반으로 군집 내 외부 점을 식별하고, Isolation Forest 와 Local Outlier Factor 는 고차원 데이터에서의 이상치를 효율적으로 탐지한다. One‑Class SVM 은 비지도 학습 환경에서 정상 패턴을 학습해 경계 밖 데이터를 이상으로 분류한다. 각 모델별 탐지 비율을 표 1에 제시했으며, 전체 데이터셋에 대해 2 %~5 % 수준의 이상치가 검출되었다. 모델 간 결과를 교차 검증함으로써 false‑positive 를 최소화하고, 다수 모델이 일관되게 식별한 사례만을 최종 알림으로 전환한다.

시스템 성능 평가에서는 HDFS 와 Spark 기반 배치 처리와, Elasticsearch‑Kibana 기반 스트리밍 분석의 응답 시간을 비교하였다. 로그 전송 지연은 평균 150 ms 이하이며, 대시보드 업데이트는 5 초 이내에 이루어진다. 저장 엔진 선택이 전체 파이프라인의 처리량에 큰 영향을 미치며, 특히 HDFS 의 블록 크기와 Replication Factor 를 최적화함으로써 데이터 동기화와 실시간 전파가 원활히 이루어졌다.

마지막으로, 보안 관점에서 논문은 데이터베이스 연결 로그가 네트워크 침입, 악성 스크립트 실행, 인증 정보 도용 등 다양한 위협을 조기에 탐지할 수 있음을 강조한다. 향후 연구에서는 로그와 메타데이터를 결합한 시계열 예측 모델(LSTM 등) 도입과, 자동화된 대응(예: 계정 잠금, IP 차단) 워크플로우 구축을 제안한다.