콘트라로그 대조 학습과 마스크드 언어 모델링을 활용한 로그 이상 탐지

초록

콘트라로그는 파서 없이 원시 로그 메시지를 연속적인 임베딩으로 변환하고, 마스크드 언어 모델링과 대조 학습을 결합해 정상 로그의 패턴을 학습한다. 메시지 인코더와 시퀀스 인코더를 계층적으로 구성해 시간적 의존성을 포착하고, 마스크된 메시지 임베딩을 예측함으로써 컨텍스트 이상점수와 포인트 이상점수를 동시에 산출한다. HDFS, BGL, Thunderbird 데이터셋에서 기존 템플릿 기반 방법들을 능가하는 성능을 보이며, 임베딩 자체만으로도 정상·비정상 구분이 가능함을 입증한다.

상세 분석

본 논문은 로그 이상 탐지 분야에서 오래된 패러시스(parsing) 의존성을 탈피하고, 로그 메시지를 연속적인 벡터 공간으로 직접 매핑하는 새로운 패러다임을 제시한다. 핵심 아이디어는 두 단계의 트랜스포머 기반 인코더를 활용하는데, 첫 번째인 Message Encoder는 BPE 토크나이저로 전처리된 원시 로그 문자열을 토큰 시퀀스로 변환하고, 이를 평균 풀링 후 선형 변환을 거쳐 고정 차원의 임베딩 Eᵢ를 생성한다. 두 번째인 Sequence Encoder는 이러한 메시지 임베딩에 위치 인코딩을 더해 시계열 전체를 입력으로 받아, 각 위치의 컨텍스트 정보를 통합한 예측 임베딩 Ŷⱼ를 출력한다.

학습 단계에서는 마스크드 언어 모델링(Masked Language Modeling, MLM)과 대조 학습(Contrastive Learning)을 결합한다. 미리 정의된 마스크 비율에 따라 임베딩을 선택적으로 가리고, Sequence Encoder가 복원한 Ŷⱼ와 원본 Message Encoder가 만든 Eⱼ 사이의 코사인 유사도를 기반으로 InfoNCE 기반 대칭 손실 L_sym을 최소화한다. 이때 행(row)과 열(column) 방향 모두에서 정답(대각 원소)을 강조하고, 나머지 임베딩을 부정 예시로 활용해 표현 공간을 명확히 구분한다. 온도 파라미터 τ는 유사도 스케일을 조절해 학습 안정성을 높인다.

추론 시에는 각 로그 메시지를 순차적으로 마스크하고, Sequence Encoder가 예측한 Ŷ와 실제 임베딩 E 사이의 거리(1‑sim)로 컨텍스트 이상점수(ContextScore)를 산출한다. 이 점수는 메시지가 현재 컨텍스트에서 얼마나 예상되는지를 정량화한다. 동시에, Message Encoder가 생성한 임베딩 자체의 밀도(예: 정상 임베딩 군집과의 거리)를 이용해 포인트 이상점수(PointScore)를 계산한다. 두 점수는 각각 최대값 혹은 평균값을 취해 시퀀스 수준 점수로 집계되며, 최종 이상점수는 강건한 Z‑스코어 정규화 후 L2 노름으로 결합한다.

실험에서는 HDFS(분산 파일 시스템 로그), BGL(블루스톤 로그), Thunderbird(메일 서버 로그) 세 가지 벤치마크를 사용했다. 데이터마다 로그 템플릿 수와 변수 다양성이 크게 달라 파서 기반 방법이 성능 저하를 보이는 반면, 콘트라로그는 파서 없이도 높은 F1 점수를 기록한다. 특히 BGL과 Thunderbird에서는 임베딩 자체가 정상·비정상 구분에 충분히 강력해, 컨텍스트 없이도 포인트 이상점수만으로도 경쟁력 있는 검출률을 달성한다. UMAP 시각화 결과는 정상 임베딩이 밀집된 클러스터를 형성하고, 비정상 임베딩이 외부에 분산되는 형태를 보여, 학습된 임베딩이 의미론적 차이를 잘 포착함을 확인한다.

이 논문의 주요 공헌은 (1) 파서‑프리, 자기지도(self‑supervised) 학습을 통한 로그 이상 탐지 프레임워크, (2) 마스크드 임베딩 예측과 대조 손실을 결합한 효율적인 학습 전략, (3) 임베딩 수준에서 포인트 이상점수를 도입해 컨텍스트 의존성을 보완한 점이다. 또한, 로그 데이터의 특성(반복적인 템플릿, 제한된 어휘) 때문에 기존 자연어 토크나이저가 비효율적일 수 있음을 지적하고, 데이터별 BPE 토크나이저를 학습시켜 토큰 수와 어휘 크기를 최적화한다는 실용적인 설계 선택도 눈에 띈다. 향후 연구에서는 멀티‑도메인 로그에 대한 전이 학습, 실시간 스트리밍 환경에서의 마스크 전략 최적화, 그리고 임베딩 기반 클러스터링을 활용한 집단 이상 탐지 등으로 확장 가능성이 기대된다.