정적 분석 도구의 실전 비교: Java와 C/C++ 취약점 탐지 성능 평가

초록

본 논문은 Java와 C/C++ 소스코드에 적용 가능한 정적 분석 도구들을 실제 취약점 샘플에 대해 실험하고, 각 도구의 탐지율, 오탐률, 사용 편의성 및 지원 환경을 정량·정성적으로 비교한다. Java 영역에서는 FindBugs, PMD, LAPSE+, Yasca 네 가지 도구를, C/C++ 영역에서는 대표적인 오픈소스 도구들을 대상으로 동일한 SAMATE 데이터셋을 활용하였다. 결과적으로 Yasca가 가장 많은 보안 취약점을 탐지했지만 오탐이 많았으며, LAPSE+는 injection 계열에 특화돼 높은 정확도를 보였다. 도구 선택 시 프로젝트 특성과 인력 역량을 고려해 복수 도구를 병행 사용하는 것이 권장된다.

상세 분석

논문은 정적 분석 도구가 개발 초기 단계에서 보안 결함을 조기에 발견함으로써 비용 절감 효과를 얻을 수 있다는 전제 하에, 실제 보안 취약점이 삽입된 샘플 코드를 이용해 도구별 성능을 체계적으로 측정하였다. Java 분석에서는 FindBugs가 바이트코드 기반 패턴 매칭을 사용해 NULL 포인터 역참조와 같은 전통적인 버그를 정확히 탐지했지만, 컴파일된 바이너리가 필요하다는 제약이 있다. PMD는 풍부한 규칙 집합과 IDE 플러그인 지원으로 코드 스타일 및 구조적 결함을 폭넓게 식별하지만, 보안 취약점(예: OS 명령어 삽입) 탐지에는 한계가 있다. LAPSE+는 Eclipse 전용 플러그인으로 injection 경로를 추적하는 Provenance Tracker를 제공, OS 명령어, SQL, 리소스 삽입 등 특정 공격 벡터에 대해 100% 탐지율을 기록했다. Yasca는 FindBugs와 PMD를 내부적으로 호출하면서 자체 스캐너를 추가해 가장 높은 취약점 탐지 수(5종)와 비교적 낮은 오탐을 보였지만, 외부 플러그인 설치와 CLI 사용법 습득이 필요해 초기 진입 장벽이 높다. 지원 측면에서는 FindBugs와 PMD가 풍부한 문서와 커뮤니티를 보유한 반면, LAPSE+와 Yasca는 문서가 제한적이며 사용자 문의 대응이 느릴 수 있다. C/C++ 영역에서는 SAMATE에 포함된 버퍼 오버플로, 메모리 누수, 하드코딩 비밀번호 등 10가지 CWE를 대상으로 Flawfinder, Cppcheck, Clang Static Analyzer 등 주요 도구를 적용했으며, 각 도구가 탐지하는 CWE 유형이 상이함을 확인했다. 특히 메모리 관련 오류는 Cppcheck이 높은 탐지율을 보였고, 코드 스타일 및 잠재적 버그는 Flawfinder가 강점이었다. 종합적으로 논문은 단일 도구만으로 모든 보안 결함을 포괄하기 어렵다는 점을 강조하고, 서로 보완적인 특성을 가진 도구들을 조합해 사용하는 전략을 제시한다. 또한, 도구 선택 시 운영 체제, IDE 연동 여부, 프로젝트 규모, 팀의 기술 역량 등을 고려해야 함을 실험 결과와 함께 설득력 있게 제시한다.