불확실성 대비 대조 학습을 통한 악성 콘텐츠 탐지용 강인한 표현 학습
📝 원문 정보
- Title: Learning Robust Representations for Malicious Content Detection via Contrastive Sampling and Uncertainty Estimation
- ArXiv ID: 2512.08969
- 발행일: 2025-12-01
- 저자: Elias Hossain, Umesh Biswas, Charan Gudla, Sai Phani Parsa
📝 초록 (Abstract)
본 논문에서는 불확실성을 고려한 대조 손실, 적응형 온도 스케일링, 그리고 자체 주의 메커니즘이 결합된 LSTM 인코더를 활용한 Positive‑Unlabeled(PU) 표현 학습 프레임워크인 Uncertainty Contrastive Framework(UCF)를 제안한다. UCF는 샘플 신뢰도에 따라 대조 손실 가중치를 동적으로 조정함으로써 학습 안정성을 확보하고, 양성 앵커를 이용해 노이즈와 불균형이 심한 데이터에서도 견고한 임베딩을 생성한다. 또한 배치 수준의 변동성을 반영하는 온도 파라미터를 자동으로 조정한다. 악성 콘텐츠 분류 실험에서 UCF가 생성한 임베딩을 전통적인 분류기에 적용했을 때 정확도 93.38 % 이상, 정밀도 0.93 이상, 회수율(Recall) 거의 1.0에 근접하는 성능을 보였으며, 오탐률은 최소 수준, ROC‑AUC 역시 경쟁력 있는 점수를 기록하였다. 시각화 결과는 양성 및 미표시(Unlabeled) 샘플이 명확히 구분되는 임베딩 공간을 확인시켜 주며, UCF가 캘리브레이션된 차별적 표현을 학습함을 입증한다. 이러한 결과는 사이버 보안 및 바이오메디컬 텍스트 마이닝과 같은 고위험 분야에서 PU 학습을 위한 견고하고 확장 가능한 솔루션으로서의 가능성을 제시한다.💡 논문 핵심 해설 (Deep Analysis)
둘째, 적응형 온도 스케일링은 배치 내 샘플 분포의 변동성을 실시간으로 반영한다. 온도 파라미터는 대조 손실에서 로그-소프트맥스의 샤프니스를 조절하는데, 고정된 온도는 배치마다 서로 다른 클래스 불균형이나 난이도 차이를 충분히 반영하지 못한다. UCF는 배치 평균 불확실성을 추정해 온도를 자동 조정함으로써, 학습 초기에 넓은 탐색을, 후기에 미세 조정을 가능하게 만든다.
셋째, 자체 주의(self‑attention) 기반 LSTM 인코더는 시퀀스형 악성 텍스트(예: 스팸 메일, 피싱 메시지)의 장기 의존성을 효과적으로 포착한다. 기존의 단순 평균 풀링이나 CNN 기반 인코더에 비해, 주의 메커니즘은 중요한 토큰에 가중치를 부여해 의미적 강조를 제공한다. 이는 임베딩이 시각화될 때 양성 샘플과 미표시 샘플이 명확히 구분되는 원인으로 작용한다.
실험 결과는 UCF가 생성한 임베딩을 다양한 전통 분류기(로지스틱 회귀, SVM, 랜덤 포레스트 등)에 적용했을 때 일관된 고성능을 보여준다. 특히 재현율이 거의 1에 가까워 ‘거짓 음성’이 최소화된 점은 사이버 보안에서 실제 운영 환경에 적용하기에 큰 장점이다. ROC‑AUC가 경쟁 수준이라는 점은 불균형 데이터에서도 모델이 전반적인 판별력을 유지함을 의미한다.
하지만 몇 가지 한계도 존재한다. 첫째, 불확실성 추정에 의존하는 가중치 조정이 초기 모델의 품질에 크게 좌우될 수 있다. 초기 단계에서 과도한 불확실성은 가중치를 과소평가해 학습을 지연시킬 위험이 있다. 둘째, 온도 스케일링을 배치 수준으로만 조정하므로, 매우 큰 배치 혹은 미니배치 크기가 작은 경우에는 추정이 불안정할 수 있다. 셋째, LSTM 기반 인코더는 트랜스포머와 같은 최신 사전학습 언어 모델에 비해 표현력이 제한적이다. 향후 연구에서는 사전학습된 BERT/Roberta와 결합해 불확실성 대조 손실을 적용하거나, 멀티모달(텍스트·이미지·코드) 데이터를 다루는 확장성을 검증할 필요가 있다.
전반적으로 UCF는 PU 학습 상황에서 불확실성을 활용한 대조 학습이라는 새로운 패러다임을 제시하며, 특히 라벨이 희소하고 노이즈가 많은 사이버 보안 및 바이오메디컬 텍스트 마이닝 분야에 실용적인 솔루션을 제공한다는 점에서 높은 학술적·산업적 가치를 가진다.
📄 논문 본문 발췌 (Translation)
📸 추가 이미지 갤러리
