트리 앙상블 분류기의 회피와 강화

초록

본 논문은 부스팅 트리와 랜덤 포레스트와 같은 트리 앙상블 모델에 대해 최적 회피 인스턴스를 찾는 두 가지 알고리즘을 제안한다. 하나는 MILP 기반의 최적화 방법으로 L₀, L₁, L₂, L∞ 거리에서 최소 변형을 보장하고, 다른 하나는 심볼릭 프레딕션을 이용한 근사 방법으로 빠른 탐색을 가능하게 한다. 실험에서는 손글씨 숫자 인식 데이터에서 트리 앙상블이 다른 모델보다 회피에 매우 취약함을 확인했으며, 회피 인스턴스를 학습에 추가하는 ‘adversarial boosting’ 기법을 통해 정확도 손실 없이 모델 강인성을 크게 향상시켰다.

상세 분석

이 논문은 트리 기반 앙상블 모델이 비선형이면서도 비미분 가능하다는 점을 이용해 기존의 그래디언트 기반 회피 탐색이 적용되지 못하는 문제를 해결하고자 한다. 첫 번째 알고리즘은 회피 문제를 제약식 최적화 문제로 정형화하고, 이를 혼합정수선형계획(MILP)으로 변환한다. 여기서 핵심은 ‘big‑M’ 상수를 사용하지 않고, 각 내부 노드의 판별식 상태를 이진 변수(p)와 각 리프 노드 선택을 나타내는 연속 변수(l)로 모델링함으로써 풀이 공간을 크게 축소하고, 솔버가 빠르게 수렴하도록 설계한 점이다. 또한 L₀, L₁, L₂, L∞ 등 다양한 거리 함수를 목표 함수에 직접 연결해, 공격자가 비용을 어떻게 정의하든 최적 회피 인스턴스를 구할 수 있다.

두 번째 알고리즘은 ‘심볼릭 프레딕션(symbolic prediction)’이라 명명된 기법을 도입한다. 이는 트리 앙상블에 대해 각 특징 차원별로 가능한 변형을 탐색하면서, 리프 값의 변화량을 빠르게 계산하는 방식이다. 구체적으로, 각 트리의 경로를 심볼릭하게 표현하고, 이를 기반으로 좌표별 차분을 수행해 가장 큰 손실을 일으키는 변수를 선택한다. 이 과정은 선형 시간에 가까운 복잡도로 수행되며, MILP에 비해 수백 배 빠른 속도를 보인다. 다만 최적성을 보장하지는 않지만, 대규모 데이터셋에서 수백만 개의 회피 샘플을 생성하는 데 충분히 효율적이다.

실험에서는 MNIST와 유사한 손글씨 숫자 데이터에 대해 로지스틱 회귀, 선형 SVM, RBF‑SVM, 3‑layer DNN, 그리고 트리 앙상블(Gradient Boosted Trees, Random Forest) 등 7가지 모델을 비교하였다. 동일한 정확도를 달성하도록 하이퍼파라미터를 튜닝한 뒤, 각 모델에 대해 최소 L₂ 변형 크기를 측정했을 때 트리 앙상블이 다른 모델보다 2~3배 작은 변형으로도 라벨을 바꿀 수 있음을 확인했다. 이는 트리 앙상블이 의사결정 경계가 매우 얇고, 작은 임계값 변화에 민감함을 의미한다.

‘Adversarial Boosting’은 이러한 회피 인스턴스를 매 boosting 단계마다 학습 데이터에 추가하는 전략이다. 구체적으로, 현재 단계에서 학습된 모델에 대해 심볼릭 프레딕션을 이용해 회피 샘플을 생성하고, 이를 라벨이 반대인 새로운 학습 샘플로 삽입한다. 이렇게 하면 다음 단계의 트리는 기존 데이터와 회피 샘플을 모두 고려해 보다 완만한 경계를 학습하게 된다. 실험 결과, 이 방법을 적용한 Gradient Boosted Tree는 회피에 필요한 평균 L₂ 변형이 약 1.8배 증가했으며, 테스트 정확도는 기존 모델과 차이가 없었다. 즉, 모델 강인성을 크게 높이면서도 성능 저하를 방지할 수 있음을 입증했다.

이 논문은 트리 앙상블에 대한 회피 문제를 이론적으로 NP‑complete임을 증명하고, 실용적인 최적·근사 해법을 제시함으로써 보안·신뢰성 분야에서 중요한 기여를 한다. 또한, 회피 샘플을 활용한 학습 강화 기법이 기존 딥러닝 기반 방어와 유사한 효과를 낼 수 있음을 보여, 비미분 모델에서도 적대적 학습이 가능함을 시사한다.