무작위성으로 강화하는 회피 공격 방어 머신러닝 모델

초록

본 논문은 머신러닝 기반 보안 시스템이 회피 공격에 취약한 문제를 해결하고자, 학습 단계와 적용 단계 모두에 무작위성을 도입하는 새로운 프레임워크를 제안한다. 랜덤 포레스트를 사례 모델로 사용해 가중치 기반 특성 선택과 클러스터링 기반 모델 서브셋 선택을 적용했으며, 침입 탐지와 스팸 필터링 데이터셋 실험을 통해 기존 랜덤 포레스트 대비 탐지 정확도는 유지하면서 회피 강인성을 크게 향상시켰다.

상세 분석

이 논문은 보안 분야에서 널리 활용되는 머신러닝 모델이 공격자가 특징을 조작해 회피하는 ‘evasion attack’에 쉽게 노출된다는 점을 출발점으로 삼는다. 기존 연구들은 주로 모델 자체를 견고하게 만들기 위해 목적 함수를 변형하거나, 게임 이론을 적용해 공격-방어를 반복 학습하는 방식에 집중했지만, 대부분 결정론적 모델에 기반하고 있어 공격자가 모델의 구조와 사용 특징을 파악하면 여전히 회피가 가능했다. 저자들은 이러한 한계를 ‘최소 설명 길이(MDL) 원칙’과 연결시켜, 과도하게 간결한 모델이 소수의 핵심 특징에 과도하게 의존하게 되고, 이는 공격자가 해당 특징만 변형하면 모델을 속일 수 있다는 논리를 전개한다.

이를 극복하기 위해 두 단계에 무작위성을 삽입한다. 첫 번째는 학습 단계에서 ‘무작위 모델 풀(pool)’을 생성하는 것으로, 기존 랜덤 포레스트가 이미 배깅(bagging)과 랜덤 서브스페이스(random subspace)를 활용해 어느 정도 다양성을 제공하지만, 특성 선택 시 빈도 기반 가중치를 도입해 자주 사용되는 특징에 페널티를 부여한다. 구체적으로 각 특성에 등장 빈도에 비례한 가중치를 계산하고, 트리 분할 시 무작위로 선택된 후보 특성 집합 내에서 가중치가 낮은(즉, 덜 사용된) 특성을 우선 선택하도록 수정한다. 이렇게 하면 개별 트리마다 사용되는 특성 분포가 보다 균등해져, 공격자가 특정 몇 개의 특징만 변형해도 전체 모델 풀을 속이기 어려워진다.

두 번째는 모델 적용 단계에서 ‘무작위 서브셋 선택’이다. 전체 모델 풀에서 일정 수의 트리를 무작위로 추출하고, 다수결 혹은 특정 논리(예: 모든 선택된 트리가 ‘not spam’이어야만 부정 판정)으로 최종 결정을 내린다. 저자는 클러스터링 기반 방법을 도입해 서로 유사한 트리들을 같은 클러스터에 묶고, 각 클러스터에서 대표 모델을 골라 서브셋을 구성함으로써 선택된 모델들 간의 상관성을 최소화한다. 이 과정은 공격자가 모델 풀 전체를 알더라도, 실제 적용 시 어떤 모델이 사용될지 예측하기 어려워지는 ‘시점 무작위성’을 제공한다.

이론적으로는 공격자가 목표 클래스를 회피하기 위해 최소 몇 개의 특징을 변형해야 하는지를 상한(bound)으로 제시한다. 모델 풀에 포함된 트리 수와 선택된 서브셋 크기에 따라 공격 비용이 선형 혹은 조합적으로 증가함을 보이며, 특히 서브셋 크기를 늘릴수록 공격자가 변형해야 할 특징 수가 급격히 늘어나는 것을 수식으로 증명한다.

실험에서는 스팸베이스(Spambase)와 KDD Cup 1999 침입 탐지 데이터셋을 사용해 기존 랜덤 포레스트와 가중치 랜덤 포레스트, 그리고 가중치+클러스터링 무작위 서브셋을 적용한 모델을 비교하였다. 정확도는 기존 랜덤 포레스트와 거의 동일하거나 미미하게 감소했지만, 공격자가 12개의 특징만 변형해 회피하던 상황에서 가중치 모델은 최소 34개의 특징 변형을 요구했고, 무작위 서브셋을 추가한 경우에는 5~6개까지 요구하게 되었다. 이는 공격 비용을 실질적으로 증가시켜 회피 성공률을 크게 낮추는 결과이다.

전체적으로 이 논문은 ‘무작위성’이라는 비교적 단순한 아이디어를 학습·적용 양 단계에 체계적으로 적용함으로써, 기존 모델이 갖는 구조적 취약점을 보완하고, 공격 비용을 정량적으로 증가시키는 실용적인 방안을 제시한다. 또한, 가중치 기반 특성 균등화와 클러스터링 기반 서브셋 선택이라는 두 가지 구체적 메커니즘을 통해 다른 머신러닝 알고리즘(예: SVM, 로지스틱 회귀)에도 확장 가능함을 논의함으로써 연구의 일반성을 확보한다.