연속 학습과 적대적 방어 AI를 통한 행동 기반 사이버 보안 강화

초록

본 논문은 행동 기반 이상 탐지 시스템에 연속 학습, 능동 학습, 그리고 적대적 AI를 결합하여 개념 드리프트와 “개구리 끓이기” 공격에 대응하는 방법을 제안한다. 자동 인코더와 그래프 기반 이벤트 상관관계를 활용한 기존 UEBA 모델에 인간 전문가의 피드백을 효율적으로 통합하고, 적대적 디셉션 공격을 시뮬레이션함으로써 방어 체계의 강인성을 자동 평가한다.

상세 분석

이 연구는 기존 UEBA(사용자 및 엔터티 행동 분석) 시스템이 직면한 두 가지 핵심 문제—개념 드리프트와 적대적 데이터 중독—에 대한 통합적 해결책을 제시한다. 첫 번째로, 자동 인코더 기반의 비지도 학습 모델을 사용해 정상 행동을 저차원 잠재 공간에 압축하고, 그래프 신경망을 통해 이벤트 간의 시계열 및 구조적 연관성을 파악한다. 이러한 이중 모델링은 기존 단일 이상치 탐지 방식보다 높은 탐지 정확도와 낮은 오탐률을 제공한다.

그러나 행동 패턴은 시간에 따라 자연스럽게 변한다(개념 드리프트). 논문은 이를 해결하기 위해 연속 학습(continual learning) 프레임워크를 도입한다. 모델 파라미터를 주기적으로 업데이트하면서도 이전 지식을 망가뜨리지 않도록 **Elastic Weight Consolidation(EWC)**와 같은 정규화 기법을 적용한다. 동시에, 능동 학습(active learning) 전략을 통해 인간 전문가에게 불확실성이 높은 샘플만을 선택적으로 제시한다. 이는 라벨링 비용을 최소화하면서도 모델이 최신 행동을 빠르게 학습하도록 만든다.

두 번째 문제는 적대적 공격자에 의한 frog‑boiling(점진적 중독)이다. 공격자는 정상 트래픽에 소량의 악성 행동을 섞어 모델을 서서히 오염시켜, 결국 전체 공격이 정상으로 인식되게 만든다. 이를 방어하기 위해 논문은 적대적 AI를 활용한다. 공격 시나리오를 시뮬레이션하는 생성 모델을 구축하고, 이 모델이 만든 변조된 데이터로 방어 모델을 주기적으로 테스트한다. 이렇게 얻은 adversarial robustness score를 기반으로 모델 파라미터를 재조정하거나, 의심스러운 데이터에 대한 인간 검증을 트리거한다.

핵심 기여는 다음과 같다. 1) 자동 인코더와 그래프 기반 상관관계를 결합한 하이브리드 UEBA 아키텍처, 2) EWC 기반 연속 학습과 불확실도 기반 능동 학습을 통한 개념 드리프트 대응, 3) 적대적 생성 모델을 이용한 자동화된 강인성 평가 및 방어 메커니즘 강화. 실험 결과, 제안 시스템은 기존 베이스라인 대비 평균 23% 이상의 탐지 정확도 향상과 40% 이하의 오탐률 감소를 달성했으며, frog‑boiling 공격에 대한 회복력도 크게 개선되었다.

이러한 접근은 사이버 방어 시스템이 스스로 학습하고 적응하면서도 인간 전문가의 판단을 효율적으로 활용하도록 설계되었으며, AI 기반 보안 솔루션의 인증 및 검증 단계에서도 활용 가능한 정량적 평가 지표를 제공한다.