그라운드 트루스 없이 악성코드 탐지 지표 추정 통계적 방법

초록

본 논문은 실제 악성코드 라벨이 없거나 불확실한 상황에서 다섯 가지 악성코드 탐지 지표(정밀도, 재현율, F1, 검출률, 오탐률)를 추정하기 위한 통계적 추정기를 제안한다. 합성 데이터와 VirusTotal 대규모 데이터를 이용해 추정기의 편향·분산 특성을 분석하고, 조건부 보정 방법을 제시한다. 실험 결과, 제안 방법이 기존 단순 평균 방식보다 훨씬 높은 정확도를 보이며, 지표 측정에 필요한 최소한의 가정과 데이터 요구사항을 명확히 제시한다.

상세 분석

논문은 먼저 악성코드 탐지 시스템의 성능을 평가하기 위해 일반적으로 사용되는 다섯 가지 지표—정밀도(Precision), 재현율(Recall), F1‑Score, 검출률(Detection Rate), 오탐률(False Positive Rate)—를 정의하고, 이들 지표를 “그라운드 트루스 없이” 측정하는 근본적인 어려움을 강조한다. 기존 연구는 라벨이 확실히 주어진 데이터셋을 전제로 하여 지표를 직접 계산하지만, 실제 운영 환경에서는 VirusTotal과 같은 멀티 엔진 스캐너가 제공하는 다수의 라벨이 상충하거나 불완전한 경우가 빈번하다. 이러한 상황을 통계적 추정 문제로 전환함으로써, 저자들은 관측된 엔진 결과를 확률 변수로 모델링하고, 라벨의 불확실성을 사전 확률(prior) 혹은 베이지안 네트워크 형태로 표현한다.

핵심 기법은 두 단계로 구성된다. 첫 번째 단계에서는 각 샘플에 대해 “악성” 혹은 “정상”이라는 잠재 상태를 숨은 변수(latent variable)로 두고, 관측된 엔진 결과를 조건부 확률분포 (P(\text{engine output}|\text{latent state})) 로 모델링한다. 여기서 저자들은 엔진별 독립성 가정을 완화하기 위해 상관 구조를 포함한 다변량 베르누이 모델을 도입한다. 두 번째 단계에서는 EM(Expectation‑Maximization) 알고리즘을 활용해 잠재 상태의 사후 확률 (P(\text{latent state}|\text{observations})) 을 추정하고, 이를 기반으로 각 지표의 기대값을 계산한다.

통계적 추정기의 성질을 이론적으로 분석하기 위해 저자들은 편향(bias)과 분산(var) 두 축에서 평가한다. 특히, 샘플 수가 충분히 클 때 추정기가 일치성(consistency)을 갖는 조건을 정리하고, 엔진 간 상관도가 높을 경우 편향이 크게 증가한다는 사실을 발견한다. 이를 보완하기 위해 “보정 함수”(adjustment function)를 도입해 엔진 상관 구조를 추정하고, 추정된 상관 행렬을 역으로 적용해 편향을 최소화한다. 보정 과정은 고차원 행렬 역연산이 필요하지만, 저자들은 차원 축소 기법(예: PCA 기반 근사)과 정규화(L2) 기법을 결합해 계산 복잡도를 실용적인 수준으로 낮춘다.

실험에서는 두 가지 데이터셋을 사용한다. 첫 번째는 라벨이 명확히 알려진 합성 데이터로, 악성/정상 비율, 엔진 정확도, 상관 구조 등을 다양하게 변형해 시뮬레이션한다. 이 환경에서 제안된 추정기는 평균 절대 오차(MAE)가 0.03 이하로, 기존 단순 평균 방법보다 5배 이상 정확도가 향상된다. 두 번째는 VirusTotal에서 수집한 1백만 개 이상의 샘플에 적용했으며, 여기서는 엔진별 정확도가 공개되지 않아 사전 확률을 베타 분포로 설정하고, EM 수렴 후 얻어진 사후 확률을 기반으로 지표를 추정한다. 결과는 기존 연구에서 보고된 “대략적인” 정밀도 0.70 수준을 0.78으로, 재현율 0.65 수준을 0.73으로 상승시켰으며, 특히 오탐률 감소 효과가 두드러졌다.

논문의 한계점으로는 (1) 엔진 독립성 가정이 완전히 깨질 경우 모델이 수렴하지 않을 수 있다는 점, (2) 사전 확률 설정이 결과에 민감하게 작용한다는 점, (3) 대규모 데이터에서 EM 알고리즘의 반복 횟수가 여전히 비용이 크다는 점을 언급한다. 저자들은 향후 연구에서 변분 베이지안(VB) 방법이나 딥러닝 기반 잠재 변수 모델을 도입해 계산 효율성을 높이고, 온라인 스트리밍 환경에서도 실시간 추정이 가능하도록 확장할 계획이라고 제시한다.

전반적으로 이 논문은 “그라운드 트루스가 없는 상황에서 보안 지표를 어떻게 신뢰성 있게 측정할 것인가”라는 근본적인 질문에 통계학적 rigor와 실용적 구현을 동시에 제공한다는 점에서 보안 측정 분야에 중요한 이정표를 제시한다.