안드로이드 악성코드 탐지를 위한 머신러닝 비교 연구

초록

본 논문은 안드로이드 플랫폼에서 발생하는 랜섬웨어 및 기타 악성 위협을 탐지하기 위해 기존에 사용된 다양한 머신러닝 기법들을 체계적으로 비교한다. Android Applications 데이터셋을 활용해 정확도, 정밀도, 재현율 등 주요 성능 지표를 측정하고, 각 방법이 요구하는 데이터 양과 연산 복잡도를 분석한다. 연구 결과, 딥러닝 기반 모델이 높은 정확도를 보이나 대규모 라벨링 데이터가 필요함을 지적하며, 경량화된 전통적 머신러닝 모델도 특정 상황에서 충분히 경쟁력 있음을 확인한다.

상세 요약

이 논문은 최근 급증하고 있는 모바일 악성코드, 특히 안드로이드 환경에서 나타나는 암호화형 랜섬웨어에 대한 탐지 기술을 머신러닝 관점에서 조명한다. 먼저 연구자는 기존 문헌에서 고객 리뷰 조작과 같은 소셜 스팸 문제를 악성 앱 탐지와 연관 지어, 데이터 라벨링의 신뢰성 문제를 제기한다. 이는 악성 여부 판단에 사용되는 학습 데이터가 오염될 위험을 내포하며, 모델의 일반화 성능을 저해할 수 있다.

데이터셋으로는 공개된 Android Applications 데이터베이스를 채택했으며, 앱의 메타데이터(패키지명, 권한 요청), 정적 분석 결과(바이너리 특징, API 호출), 동적 행동 로그 등을 다차원 특성으로 전처리한다. 특성 선택 과정에서 TF‑IDF, Chi‑square, Mutual Information 등 전통적인 차원 축소 기법과, 최근 각광받는 AutoEncoder 기반 임베딩을 모두 실험한다.

모델군은 크게 두 축으로 나뉜다. 첫 번째는 전통적인 지도학습 알고리즘인 Random Forest, Support Vector Machine, Gradient Boosting, K‑Nearest Neighbor 등을 포함한다. 두 번째는 딥러닝 접근법으로 Convolutional Neural Network(CNN)와 Recurrent Neural Network(RNN, LSTM) 기반 구조, 그리고 최근 유행하는 Graph Neural Network(GNN)를 적용한다. 각 모델은 동일한 학습‑검증‑테스트 분할(70/15/15%)을 사용해 성능을 비교했으며, 주요 평가지표는 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1‑Score, ROC‑AUC이다.

실험 결과, 딥러닝 모델은 특히 복합적인 동적 행동 로그를 입력으로 받을 때 94% 이상의 정확도와 0.96 이상의 AUC를 기록했다. 반면 전통적인 Random Forest와 Gradient Boosting도 88~91% 수준의 정확도를 보이며, 학습 시간과 메모리 요구량이 현저히 낮아 실시간 탐지 시스템에 적합함을 보여준다. 특히 데이터 양이 제한된 상황에서는 과적합 위험이 큰 딥러닝 모델보다 Gradient Boosting이 더 안정적인 성능을 유지한다.

한계점으로는 라벨링된 악성 앱 수가 상대적으로 적어 클래스 불균형 문제가 존재했으며, 일부 최신 변종 랜섬웨어는 정적 특징만으로는 구분이 어려워 동적 분석 로그의 품질에 크게 의존한다는 점을 들 수 있다. 또한, 모델 해석 가능성 측면에서 딥러닝은 블랙박스 특성이 강해 보안 담당자가 의사결정 근거를 파악하기 어렵다.

향후 연구 방향으로는 (1) 라벨링 자동화와 신뢰도 평가를 위한 semi‑supervised 혹은 weak‑supervised 학습 도입, (2) 멀티모달 특성 결합을 통한 모델 견고성 강화, (3) 경량화된 딥러닝 모델(예: MobileNet, TinyBERT) 개발을 통한 모바일 디바이스 내 실시간 탐지 구현, (4) 모델 설명 가능성을 높이기 위한 SHAP, LIME 등 해석 기법 적용을 제안한다. 이러한 개선이 이루어질 경우, 현재의 데이터 의존성 문제와 연산 비용 문제를 동시에 완화하면서도 높은 탐지 정확도를 유지할 수 있을 것으로 기대된다.