데이터셋 변동에 강인한 PE 악성코드 탐지를 위한 앙상블 기반 불확실성 및 컨포멀 예측
📝 원문 정보
- Title:
- ArXiv ID: 2512.18495
- 발행일:
- 저자: Unknown
📝 초록 (Abstract)
인공지능 기법은 Windows Portable Executable(PE) 악성코드 분류에서 높은 성능을 보이지만, 데이터셋 변동이 발생하면 신뢰성이 크게 떨어져 심각한 보안 위험을 초래한다. 이를 해결하기 위해 기존 LightGBM(LGBM) 악성코드 탐지기에 신경망(NN), PriorNet, 그리고 신경망 앙상블을 통합하였다. 평가에는 EMBER, BODMAS, UCSB 세 가지 벤치마크 데이터셋을 사용했으며, 특히 UCSB는 대부분이 패킹된 악성코드로 구성돼 EMBER와 BODMAS에 비해 큰 분포 변화를 나타내어 극한의 견고성 테스트베드가 된다. 우리는 확률 임계값, PriorNet, 앙상블 기반 추정치, 그리고 귀납적 컨포멀 평가(ICE) 등 불확실성 인식 의사결정 전략을 연구하였다. 주요 공헌은 앙상블 기반 불확실성 추정치를 비일치 측정(Non‑Conformity Measure)으로 활용한 ICE와 새로운 임계값 최적화 방법이다. 변동이 가장 심한 UCSB 데이터셋에서 기존 확률 기반 ICE(SOTA)는 잘못된 수용률(IA%)이 22.8%였으나, 제안 방법은 이를 16%로 낮춰 약 30%의 상대적 감소를 달성하면서 올바른 수용률(CA%)은 경쟁력을 유지한다. 이러한 결과는 앙상블 기반 불확실성과 컨포멀 예측을 결합하면 극심한 데이터셋 변동, 특히 패킹된 악성코드 상황에서 오분류를 방지하는 보다 신뢰할 수 있는 방어 메커니즘을 제공함을 보여준다.💡 논문 핵심 해설 (Deep Analysis)
본 연구는 PE 악성코드 탐지 모델이 실제 운영 환경에서 마주하는 데이터셋 변동(데이터 셋 시프트) 문제를 체계적으로 다룬다. 기존 LightGBM 기반 탐지기는 높은 정확도를 보이지만, 훈련 데이터와 테스트 데이터 간 분포 차이가 클 경우 확률 출력이 과신(over‑confidence)되는 경향이 있다. 이를 보완하기 위해 저자는 세 가지 주요 기술을 결합하였다. 첫째, 신경망(NN)과 PriorNet을 LightGBM에 병합함으로써 비선형 특성을 포착하고 사전 확률 분포를 명시적으로 모델링한다. 둘째, 여러 독립적인 신경망을 앙상블링하여 각 모델이 제공하는 예측 분포의 분산을 불확실성 추정치로 활용한다. 셋째, 이러한 앙상블 기반 불확실성을 컨포멀 예측 프레임워크인 Inductive Conformal Evaluation(ICE)에 비일치 측정으로 도입한다. 기존 SOTA ICE는 단순히 예측 확률을 비일치 측정으로 사용하지만, 확률 자체가 변동에 민감하다는 점에서 한계가 있다. 반면, 앙상블 불확실성은 모델 간 의견 차이를 반영하므로 변동에 더 강인한 비일치 측정이 가능하다.데이터셋 측면에서 EMBER와 BODMAS는 비교적 균일한 특성을 가지고 있어 기존 모델도 좋은 성능을 보인다. 그러나 UCSB는 대부분이 패킹된 악성코드로 구성돼 파일 구조와 바이트 시퀀스가 크게 왜곡된다. 이러한 변동은 특징 공간을 급격히 이동시켜 LightGBM과 단일 NN이 과도하게 오분류하게 만든다. 실험 결과, UCSB에서 기존 확률 기반 ICE는 잘못된 수용률(IA%)이 22.8%에 달했으며, 이는 보안 운영자가 악성코드로 오인한 정상 파일을 허용하거나, 반대로 악성 파일을 차단하지 못하는 위험을 의미한다. 제안된 앙상블‑컨포멀 방법은 IA%를 16%로 낮추어 약 30%의 상대적 감소를 달성했으며, 동시에 올바른 수용률(CA%)은 기존 방법과 비슷하거나 약간 향상되었다. 이는 불확실성 기반 의사결정이 정확도와 신뢰성 사이의 트레이드오프를 효과적으로 조정한다는 것을 보여준다.
또한 저자는 새로운 임계값 최적화 절차를 제시한다. 기존 방법은 고정된 확률 임계값(예: 0.5)을 사용해 수용/거부를 결정하지만, 변동 상황에서는 이 임계값이 최적이 아니다. 저자는 검증 데이터에서 IA%와 CA%의 파레토 최적점을 탐색해 동적으로 임계값을 조정한다. 이 과정은 실제 운영 환경에서 보안 정책에 맞는 위험 허용 수준을 정밀하게 설정할 수 있게 해준다.
전체적으로 본 논문은 세 가지 기여를 제공한다. (1) LightGBM에 NN·PriorNet·앙상블을 결합한 하이브리드 모델 설계, (2) 앙상블 기반 불확실성을 비일치 측정으로 활용한 ICE 프레임워크, (3) 변동 환경에 맞는 임계값 최적화 방법. 특히, 패킹된 악성코드가 다수인 UCSB와 같은 극단적 변동 상황에서도 오분류 위험을 현저히 낮출 수 있다는 점에서 실무적 가치가 크다. 향후 연구에서는 실시간 스트리밍 환경에서의 적용, 다른 유형의 악성코드(예: 스크립트 기반)로의 일반화, 그리고 불확실성 추정에 베이지안 딥러닝을 도입하는 방안을 탐색할 수 있다.