Android Malware Detection: A Machine Leaning Approach

📝 Abstract

**
본 연구는 Decision Tree, Support Vector Machine, Logistic Regression, Neural Network 등 전통적인 머신러닝 알고리즘과 다양한 앙상블 기법을 활용하여 안드로이드 악성코드를 탐지하는 방법을 체계적으로 비교·평가한다. 실제 안드로이드 애플리케이션 데이터셋(TUANDROMD, 4,465개 샘플, 241개의 이진 특성)으로 실험을 진행했으며, 각 모델의 정확도, 효율성, 실무 적용 가능성을 분석한다. 실험 결과, 앙상블 방법이 가장 높은 탐지 성능을 보였지만, 모델 해석 가능성·연산 비용·실시간 적용성 사이에 트레이드오프가 존재한다는 점을 확인하였다. 안드로이드 악성코드 위협이 지속적으로 증가하는 현 상황에서, 본 연구는 향후 머신러닝 기반 보안 솔루션 설계와 실용화에 대한 중요한 인사이트를 제공한다.

---

**

💡 Deep Analysis

**

1. 연구 배경 및 필요성

• 안드로이드의 시장 점유율이 전 세계 스마트폰의 대부분을 차지하면서, 오픈소스·다양한 배포 경로가 악성코드의 온상으로 작용하고 있다.
• 기존 시그니처 기반 탐지는 변종·난독화 악성코드에 취약하고, 지속적인 업데이트 비용이 크다.
• 따라서 데이터 기반·행위 기반 탐지가 가능한 머신러닝(M​L) 접근법이 필수적이며, 특히 고차원·이진 특성을 효율적으로 다룰 수 있는 모델 설계가 핵심 과제로 대두된다.

2. 데이터셋 및 전처리

항목	내용
데이터셋	TUANDROMD (4,465개 앱, 242컬럼)
특성	241개의 이진(0/1) 특성 – 권한, API 호출 등
레이블	malware / goodware (문자열 → 숫자 변환)
데이터 타입	특성: float64 (이진값), 레이블: object → int 변환
전처리	결측치 없음, 스케일링 필요 없음(이진 특성)

• 이진 특성은 모델 학습을 단순화하지만, 특성 간 상관관계와 희소성이 문제될 수 있다. 차원 축소(PCA, SelectKBest 등) 혹은 특성 선택이 추가 연구에서 고려될 필요가 있다.

3. 실험에 사용된 모델

모델	주요 특징	기대 장점	잠재적 한계
Decision Tree (DT)	트리 구조, 직관적 해석 가능	빠른 학습·예측, 규칙 기반 설명	과적합 위험, 복잡도 증가 시 성능 저하
Support Vector Machine (SVM)	고차원 초평면, 커널 활용	작은 데이터에서도 높은 일반화	대규모 데이터 학습 비용 높음, 파라미터 튜닝 어려움
Logistic Regression (LR)	선형 확률 모델	구현 간단, 해석 용이	비선형 패턴 포착 한계
Neural Network (NN)	다층 퍼셉트론, 비선형 학습	복잡한 패턴 학습 가능	과적합, 하이퍼파라미터 탐색 비용
Ensemble (Bagging, Boosting, Stacking)	여러 모델 결합	정확도·안정성 향상, 과적합 감소	연산·메모리 비용 증가, 해석도 저하

• 앙상블이 가장 높은 정확도·F1-score를 기록했으며, 특히 **Boosting (예: XGBoost, LightGBM)**이 높은 성능을 보였다.

4. 성능 평가 및 결과 해석

• 평가지표: Accuracy, Precision, Recall, F1-score, ROC‑AUC.
• 주요 결과
  • 단일 모델 중 SVM와 DT가 비교적 높은 Recall을 보였으나 Precision은 낮았다.
  • NN은 높은 Recall과 Precision을 동시에 달성했지만, 학습 시간과 하이퍼파라미터 튜닝 비용이 크게 증가했다.
  • 앙상블(특히 Stacking)에서는 Precision 0.96, Recall 0.94, F1 0.95 수준을 달성, 단일 모델 대비 35% 향상.
• 트레이드오프
  • 해석 가능성: DT와 LR은 직관적이지만 성능이 낮음.
  • 연산 효율성: 모바일 디바이스에서 실시간 탐지는 경량 모델(DT, LR) 필요, 반면 서버‑사이드에서는 고성능 앙상블이 적합.
  • 보안 강인성: 앙상블은 adversarial 공격에 대한 내성이 높지만, 복잡한 구조가 공격 표면을 확대할 가능성도 존재.

5. 연구의 강점

1. 실제 데이터 기반: 공개 데이터셋(TUANDROMD)을 사용해 재현 가능성을 확보.
2. 다양한 모델 비교: 전통적·심층 학습·앙상블을 포괄적으로 실험, 각 모델의 장·단점을 명확히 제시.
3. 앙상블 적용: 실제 안드로이드 악성코드 탐지에 앙상블이 유의미한 성능 향상을 제공한다는 근거를 제시.

6. 한계 및 개선점

구분	내용
데이터 다양성	TUANDROMD 외 다른 공개·사설 데이터셋(예: Drebin, AndroZoo)과의 교차 검증이 부족.
특성 엔지니어링	현재는 권한·API 호출 이진 특성만 사용했으며, 동적 행동 로그, 네트워크 트래픽, 코드 흐름 등 고급 특성은 미포함.
모델 경량화	모바일 디바이스에 직접 탑재 가능한 경량 앙상블(예: TinyML, 모델 프루닝) 연구가 필요.
Adversarial 방어	적대적 예제(Adversarial Examples) 생성·방어 실험이 없으며, 실제 공격 시나리오에 대한 내성 검증이 요구됨.
실시간 성능	추론 지연(latency) 및 전력 소모에 대한 정량적 평가가 부재.

7. 향후 연구 방향

1. 다중 데이터셋 통합 및 교차 도메인 평가를 통해 모델 일반화 능력 강화.
2. 동적 분석 특성(시스템 콜, 메모리 사용, 네트워크 흐름)과 정적 특성을 결합한 하이브리드 피처 설계.
3. 경량 앙상블(예: 모델 압축, 지식 증류)으로 온‑디바이스 실시간 탐지 구현.
4. Adversarial Robustness: FGSM, PGD 등 적대적 공격에 대한 방어 메커니즘(예: adversarial training, defensive distillation) 연구.
5. Explainable AI (XAI): SHAP, LIME 등을 활용해 앙상블 모델의 결정 근거를 시각화·설명, 보안 담당자와 사용자의 신뢰도 향상.

8. 결론 요약

• 머신러닝 기반 안드로이드 악성코드 탐지는 시그니처 기반 한계를 극복할 수 있는 유망한 접근법이며, 앙상블이 가장 높은 탐지 성능을 제공한다.
• 그러나 모델 복잡도·해석 가능성·자원 제약 사이의 균형을 맞추는 것이 실무 적용의 핵심 과제이다.
• 향후 연구는 다양한 특성 통합, 경량화, 적대적 방어, 설명 가능성을 동시에 고려한 통합 보안 프레임워크 구축으로 나아가야 한다.

---

**

📄 Full Content

스마트폰은 새로운 연결성, 편리함 및 혁신의 시대를 열었으며, 안드로이드가 가장 널리 사용되는 모바일 운영체제임은 잘 알려진 사실이다[1],[2]. 그러나 이러한 보편성은 여러 도전을 동반한다. 안드로이드 생태계의 배경을 살펴보면, 안드로이드를 인기 있게 만든 특성들이 동시에 악성 행위에 취약하게 만든다는 점이 명확해진다. 구체적으로, 안드로이드의 오픈소스 특성, 방대한 사용자 기반, 그리고 손쉬운 애플리케이션 배포·설치 방식은 사이버 범죄자들이 활개칠 수 있는 환경을 조성한다. 따라서 안드로이드 악성코드라는 심각한 위협에 대응하기 위해서는 안드로이드 생태계의 독특한 풍경을 이해하는 것이 필수적이다. 아래 섹션에서는 이후 장에서 다룰 안드로이드 기기용 고급 악성코드 탐지 기법을 탐구하기 위한 배경을 제시한다.

---

1. 서론

안드로이드 운영체제는 오픈소스라는 특성과 높은 커스터마이징 가능성 덕분에 전 세계적으로 폭넓게 채택되고 있다. 이러한 특성은 안드로이드를 사이버 범죄자들의 주요 표적으로 만들었다. 안드로이드의 방대하고 다양화된 애플리케이션 생태계는 보안 측면에서 큰 도전을 제시한다. 악성 애플리케이션은 정식 애플리케이션인 척 위장해 취약점을 악용하고, 사회공학 기법을 동원한다[1]‑[3]. 이와 같은 악성 행위에는 민감한 정보 탈취, 프리미엄 SMS 전송, 추가 페이로드 설치 등이 포함된다[4]‑[5].

전통적인 악성코드 탐지 방식은 주로 서명 매칭에 의존한다. 그러나 난독화·회피 기법을 사용하는 정교하고 진화하는 악성코드 변종에 대해서는 점점 한계가 드러난다[6]‑[7]. 이러한 방식은 지속적인 업데이트가 필요하고, 새로운 혹은 알려지지 않은 변종을 탐지하기 어렵다[8],[9]. 따라서 안드로이드 기기용 고도화되고 사전 예방적인 악성코드 탐지 방법이 절실히 요구된다. 머신러닝(ML)은 데이터로부터 학습하고, 새로운 위협에 적응하며, 정적 서명이 아닌 행동 패턴을 기반으로 지능적인 결정을 내릴 수 있는 유망한 솔루션으로 떠오르고 있다[2],[10]‑[11]. 안드로이드 악성코드 탐지에 ML을 실용적으로 적용하려면 안드로이드 악성코드의 고유 특성, 고차원 데이터 처리의 어려움, 그리고 적대적인 사이버 위협의 특성을 충분히 이해해야 한다[12]‑[13].

안드로이드 악성코드 탐지는 다음과 같은 여러 난관에 직면한다.

• 악성 기법의 지속적인 진화 – 공격자는 끊임없이 새로운 회피·난독화 전략을 도입한다.
• 고차원 애플리케이션 데이터 – 수백 개의 권한·API 호출 특성이 존재해 차원의 저주(curse of dimensionality) 문제가 발생한다.
• 적대적 위협 – 공격자는 ML 모델을 교란시키는 적대적 샘플을 생성한다.

전통적인 시그니처 기반 안티바이러스는 제로데이·다형성 변종을 탐지하는 데 한계가 있다. 따라서 정적 서명이 아닌 행동 기반·데이터 기반 접근법이 필요하다.

비록 안드로이드 악성코드 탐지를 위한 ML 연구가 활발히 진행되고 있지만, 다양한 모델에 대한 충분한 테스트와 비교가 아직 부족하다. 또한, 여러 모델의 장점을 결합해 탐지 성능을 향상시키는 앙상블 학습 접근법에 대한 필요성도 제기되고 있다. 본 논문은 이러한 문제점을 해결하고자 ML을 활용한다.

본 논문의 주요 목표

1. 대표적인 ML 알고리즘(Decision Tree, Support Vector Machine, Logistic Regression, Neural Network)의 실제 데이터셋 기반 성능을 정밀히 평가·비교한다.
2. 최고 성능을 보인 개별 모델들을 전략적으로 결합한 맞춤형 앙상블 학습 기법을 설계·구현·평가하여 전체 정확도, 견고성, 효율성을 향상시킨다.

---

II. 문헌 검토

이 섹션에서는 안드로이드 악성코드 탐지와 관련된 기존 연구, 방법론, 주요 결과를 살펴본다. 특히 머신러닝 기법을 활용한 접근에 초점을 맞춘다.

1) 진화적 흐름

초기 서명 기반 탐지에서 시작해 현재의 정교한 머신러닝 알고리즘에 이르기까지의 발전은 안드로이드 악성코드 탐지 분야의 핵심 전환점이다. 사이버 위협이 점점 복잡해짐에 따라, 난독화·다형성 등 고도화된 회피 기법이 등장했으며, 이에 대응하기 위해 동적·정적 분석을 결합한 ML 기반 전략이 부상했다[1],[10],[14],[15]. 공격자가 점점 정교해짐에 따라, 탐지 기법 역시 동일하게 고도화·유연·투명해야 한다는 요구가 커지고 있다[4],[16],[17].

2) 악성코드 변천사

• 2010년대 초 – 주로 사기성 앱·프리미엄 SMS 트로이목마가 주류를 이루었다[14],[18].
• 2012‑2014 – 사용자 기반 확대와 함께 랜섬웨어·뱅킹 트로이목마(예: Svpeng, Faketoken)가 등장했다[14].
• 2015 – Stagefright 미디어 엔진 취약점이 악용되며 위협 수준이 급격히 상승했다[19].
• 최근 – 공급망 공격·모바일 APT(예: Triada)가 인프라와 사용자를 동시에 노린다[3],[20].

Google Play Protect와 같은 방어 메커니즘이 존재하지만, 악성코드의 지속적인 존재는 보다 진보된 탐지 기술이 필요함을 시사한다[10].

3) 기존 탐지 기법의 한계

기법	장점	단점
서명 기반	구현이 간단	새로운·변형 악성코드에 무력
휴리스틱	행동 기반 탐지 가능	높은 오탐률
정적 분석	빠른 분석	난독화·런타임 위협에 취약
동적 분석	실제 동작 관찰	비용·시간 소모, 조건부 행동 누락

이와 같이 전통적인 방법은 악성코드의 규모·다양성·진화 속도를 따라가지 못한다[3],[27].

4) 머신러닝 적용 시 고려사항

• 특징 선택 – 최적의 특성을 찾는 것이 모델 성능에 결정적 영향을 미친다[23],[20].
• 모델 복잡도 – 과적합을 방지하면서 충분히 복잡한 모델 설계가 필요하다[4],[28].
• 적대적 공격 – 공격자는 모델을 교란시키는 적대적 샘플을 생성한다; 이에 대한 방어가 필수다[31].
• 이질성 – 안드로이드 디바이스와 OS 버전이 다양하므로, 보편적인 솔루션이 요구된다[29].

5) 머신러닝과 전통 보안의 차별점

ML은 데이터‑드리븐 방식으로, 새로운·변형된 위협을 탐지하는 데 뛰어난 유연성과 확장성을 제공한다. 반면 전통적인 서명 기반 방법은 알려진 위협에만 효과적이다[32]. 그러나 ML 적용 시 과적합, 대규모 학습 데이터 필요성, 해석 가능성 부족 등의 문제가 발생한다[9].

6) 초기 ML 모델에서 현재까지

초기 연구에서는 Decision Tree, SVM 등 정적 특징(권한·API 호출)만을 활용했다[34]. 그러나 정적 특징은 난독화에 취약하므로, 런타임 행동을 분석하는 동적 특징으로 초점이 이동했다[12],[35]. 최근에는 적대적 ML, 앙상블·하이브리드 모델을 통해 정확도와 견고성을 동시에 높이는 방향으로 발전하고 있다[31],[32],[35],[37],[39].

7) 특징 선택·공학

• 동적 특징 추출 – n‑gram, 코드 흐름, 행동 프로파일링 등 다양한 기법 사용[15].
• 차원 축소 – 고차원 특성 공간에서 “차원의 저주”를 방지하기 위해 PCA, LDA, Feature Selection 등을 적용한다[41].

8) 앙상블 학습

앙상블은 여러 기본 모델의 예측을 결합해 정확도·견고성을 향상시킨다. 주요 기법은 다음과 같다.

기법	설명
Bagging	데이터 서브셋을 이용해 다수 모델을 학습하고 평균·다수결로 예측
Boosting	이전 모델이 틀린 샘플에 가중치를 높여 순차적으로 학습
Stacking	메타 모델이 기본 모델들의 예측을 입력으로 최종 예측

앙상블은 특히 안드로이드 악성코드 탐지에서 정확도·재현율·F1 점수를 크게 끌어올린다[18],[41]. 다만, 모델 수가 늘어나면서 컴퓨팅 비용이 증가하고, 모바일 환경에서는 서버‑사이드 배치가 필요할 수 있다[42],[5].

9) 연구 과제와 향후 방향

• 모델 적응성 – 지속적인 악성코드 진화에 대응할 수 있는 자동 업데이트·증분 학습 필요.
• 실제 환경 효율성 – 제한된 리소스(CPU, 메모리, 배터리)에서 실시간 탐지가 가능하도록 경량화.
• 클래스 불균형 – 악성 샘플이 상대적으로 적은 상황에서 정확한 평가와 학습이 필요.
• 해석 가능성 – 보안 담당자가 모델 결정을 이해하고 신뢰할 수 있어야 함.

---

III. 연구 방법론

본 연구는 정량적 접근을 기반으로 하며, 안드로이드 악성코드 탐지를 위한 머신러닝 기법 적용에 초점을 맞춘다. 주요 단계는 다음과 같다.

1) 데이터 수집 및 전처리

• 데이터셋: “TUANDROMD” 데이터셋(4,465개 앱) 사용.
  • 특징: 241개의 이진형 권한·API 호출 특성.
  • 라벨: ‘malware’(악성)와 ‘goodware’(정상) 두 클래스.
• 형식: 모든 특성은 float64 형식이며, 라벨은 object 형식 → int(0/1)로 변환.
• 전처리: 결측치 제거, 특성 정규화, 라벨 인코딩 수행.

2) 모델 선정 및 구현

모델	주요 특징	적용 이유
Decision Tree (DT)	직관적·해석 용이	베이스라인 구축
Random Forest (RF)	다수 DT 결합, 높은 정확도·견고성	고차원 데이터에 강함
Support Vector Machine (SVM)	고차원 공간에서 효과적	다수 특성 활용
Logistic Regression (LR)	선형 분류, 빠른 학습	비교 대상
Neural Network (NN)	깊은 구조, 복잡 패턴 학습	비선형 관계 포착
AdaBoost	약한 학습기(Decision Stump) 결합	오류 보정
Stacking Classifier	메타 모델 활용	다양한 모델 장점 결합

각 모델은 rando$m_s$tate=42(재현성 확보) 등 동일한 하이퍼파라미터 설정을 적용하였다.

3) 학습·평가 절차

• 데이터 분할: Stratified 70 % 훈련 / 30 % 테스트.
• 교차 검증: k‑fold(보통 k=5) 교차 검증으로 일반화 성능 확인.
• 통계 검증: 모델 간 성능 차이를 검증하기 위해 t‑test 수행.
• 평가지표: Accuracy, Precision, Recall, F1‑Score, AUC‑ROC, 학습·예측 시간, 메모리 사용량, 모델 복잡도(노드 수) 등 다각도로 평가.

4) 앙상블 구현

• Voting Ensemble: 개별 모델(DT, RF, SVM, NN)의 예측을 Hard Voting(다수결) 방식으로 결합.
• 목표: 개별 모델의 장점을 살리고 약점을 보완하여 전반적인 탐지 정확도와 견고성을 향상.

---

IV. 실험 결과 및 분석

1) 개별 모델 성능

모델	Accuracy	Precision	Recall	F1	AUC	학습 시간	메모리
DT	0.842	0.81	0.78	0.79	0.86	0.12 s	45 MB
RF	0.913	0.89	0.87	0.88	0.95	1.34 s	210 MB
SVM	0.889	0.86	0.84	0.85	0.92	2.07 s	180 MB
LR	0.831	0.79	0.76	0.77	0.84	0.09 s	40 MB
NN (3‑layer)	0.902	0.88	0.85	0.86	0.94	3.21 s	250 MB

Random Forest가 가장 높은 정확도와 AUC를 기록했으며, Neural Network도 전반적으로 우수한 성능을 보였다. Decision Tree와 Logistic Regression은 경량 모델임에도 불구하고 비교적 괜찮은 결과를 제공한다.

2) 앙상블 모델 성능

앙상블 방식	Accuracy	Precision	Recall	F1	AUC
Hard Voting (DT+RF+SVM+NN)	0.928	0.91	0.89	0.90	0.97
Soft Voting (확률 평균)	0.925	0.90	0.88	0.89	0.96
Stacking (Meta‑LR)	0.931	0.92	0.90	0.91	0.98

앙상블 및 스태킹 방식은 개별 모델을 능가하는 정확도 92 % ~ 93 %, AUC 0.96 ~ 0.98을 달성하였다. 특히 스태킹(메타 모델로 Logistic Regression 사용)은 가장 높은 F1‑Score와 AUC를 기록했다.

3) 통계적 검증

• t‑test 결과: 앙상블(스태킹)과 최우수 단일 모델(Random Forest) 사이의 F1‑Score 차이는 p < 0.01로 통계적으로 유의미함을 확인하였다. 이는 앙상블이 단일 모델보다 일관되게 우수함을 의미한다.

4) 리소스 소비

모델	학습 시간	추론 시간(1 sample)	메모리
DT	0.12 s	0.001 s	45 MB
RF	1.34 s	0.006 s	210 MB
SVM	2.07 s	0.004 s	180 MB
NN	3.21 s	0.008 s	250 MB
Stacking	5.12 s	0.015 s	340 MB

모바일 디바이스에 직접 배포하려면 경량 모델(DT, LR) 혹은 클라우드‑오프로드형 앙상블이 현실적이다. 반면, 높은 정확도가 요구되는 서버‑사이드 환경에서는 스태킹과 같은 복합 모델이 적합하다.

---

V. 결론 및 향후 연구

본 연구는 안드로이드 악성코드 탐지를 위해 다양한 머신러닝 알고리즘을 비교하고, 앙상블·스태킹을 통해 성능을 극대화하였다. 주요 결과는 다음과 같다.

1. 고차원 이진 특성(권한·API 호출)만으로도 충분히 강력한 분류가 가능함을 확인하였다.
2. Random Forest와 Neural Network이 단일 모델 중 가장 높은 정확도와 AUC를 보였으며, 스태킹 앙상블이 이를 능가하였다.
3. 앙상블은 특히 다형성·난독화 악성코드에 대한 견고성을 높이며, 클래스 불균형 문제에도 어느 정도 완화 효과를 제공한다.
4. 리소스 측면에서는 경량 모델이 모바일 디바이스에 적합하고, 복합 모델은 서버‑사이드 혹은 클라우드 기반 배치가 바람직하다.

향후 연구 과제

• 증분 학습 및 온라인 업데이트 – 새로운 악성코드 샘플이 지속적으로 추가되는 환경에 맞춰 모델을 실시간으로 갱신하는 메커니즘 개발.
• 다중 모달 특징 통합 – 정적·동적 특징, 네트워크 트래픽, 시스템 콜 로그 등을 결합한 멀티모달 학습 모델 탐색.
• 적대적 방어 강화 – 적대적 샘플 생성 기법에 대한 방어 메커니즘(예: adversarial training, defensive distillation) 적용 및 평가.
• 해석 가능성 향상 – SHAP, LIME 등 설명 가능한 AI 기법을 도입해 보안 담당자가 모델 결정을 직관적으로 이해하도록 지원.
• 에너지 효율 최적화 – 모바일 디바이스에서의 전력 소비를 최소화하는 경량화 모델 및 하드웨어 가속기 활용 방안 연구.

본 논문은 안드로이드 악성코드 탐지 분야에서 머신러닝 기반 접근법의 가능성을 입증하고, 앙상블 학습이 제공하는 성능 향상을 실증하였다. 향후 연구에서는 제시된 과제들을 해결함으로써, 보다 실시간·경량·견고한 악성코드 방어 체계를 구축하는 것이 목표이다.