AI가 현대 침투 테스트에 미치는 역할

초록

본 논문은 인공지능, 특히 강화학습(RL)이 침투 테스트(펜테스팅) 과정에 어떻게 적용되고 있는지를 체계적 문헌고찰(SLR) 방식으로 분석한다. 58개의 피어‑리뷰 논문을 대상으로 AI 적용 단계, 사용된 AI 기법, 기대 효과와 한계 등을 정리했으며, 현재는 탐지·취약점 분석 단계에 집중된 연구가 대부분이고, RL이 77%로 압도적 비중을 차지한다는 점을 밝혀냈다. 실제 적용 사례는 유럽우주국의 PenBox 등 제한적이지만, LLM 활용 등 향후 연구 방향도 제시한다.

상세 분석

이 연구는 Kitchenham‑Charters 가이드라인에 따라 데이터베이스(ACM, IEEE, Scopus, Springer)에서 “penetration testing”과 “AI” 관련 키워드 조합으로 58편을 선정하고, 네 가지 연구 질문(RQ1‑RQ4)을 중심으로 분석하였다. RQ1에서는 AI가 실제 현업에 적용된 사례가 극히 드물며, 대부분이 프로토타입 수준임을 확인했다. 특히 PenBox는 우주 시스템에 특화된 AI‑driven 펜테스트 플랫폼으로, 초기 개발 단계에서 비용 절감과 속도 향상을 입증했다. RQ2에서는 강화학습이 전체 논문의 77%를 차지해 공격 경로 최적화, 네트워크 탐색, 취약점 탐색 등에 주로 활용되고 있음을 보여준다. 반면 대형 언어 모델(LLM)은 4편만 적용됐으며, 주로 사회공학, 보고·보완 단계에 활용되는 경향이 있다. RQ3의 결과는 AI가 가장 큰 영향을 미치는 단계가 ‘Discovery(탐지·취약점 분석)’이며, 그 다음이 ‘Exploitation(공격 실행)’임을 나타낸다. ‘Preparation(정찰)’과 ‘Reporting(보고·보완)’ 단계는 연구가 현저히 부족해 향후 연구 기회가 크다. RQ4에서는 AI 기반 펜테스트의 장점으로 자동화·속도·스케일러빌리티 향상, 인간 전문가가 놓치기 쉬운 복합 공격 시나리오 탐색 등을 들었다. 그러나 모델의 유연성 부족, 탐지 정확도(오탐·미탐) 문제, 윤리·법적 이슈, 그리고 대부분의 도구가 로컬 실행 형태라 악용 위험이 존재한다는 한계도 명시한다. 특히 LLM 기반 도구는 외부 API 의존도가 높아 비용·프라이버시 문제가 대두된다. 전체적으로 논문은 현재 AI‑assisted 펜테스트가 초기 단계에 머물러 있지만, 강화학습과 LLM의 결합, 멀티‑모달 데이터 활용, 실시간 적응형 공격 모델 개발 등으로 연구가 확장될 여지가 크다고 결론짓는다.