AI 기반 보안 취약점 탐지의 정밀도를 높이는 코드 최적화 기술 Trace Gadgets

초록

Trace Gadgets는 머신러닝 기반의 보안 취약점 탐지 성능을 극대화하기 위해, 취약점 경로와 무관한 코드를 제거하여 핵심적인 문맥(Context)만을 추출하는 혁신적인 코드 표현 방식입니다. 이를 통해 모델의 인지 부점 부하를 줄이고 탐지 정확도를 높여, 기존 정적 분석 도구를 능가하는 성능을 입증했습니다.

상세 분석

본 논문은 머신러닝(ML) 기반 취약점 탐지 모델이 직면한 가장 큰 기술적 난제 중 하나인 ‘코드 컨텍스트의 과잉’ 문제를 정밀하게 파고듭니다. 기존의 LLM이나 코드 모델들은 입력 토큰 수가 1K를 초 exceed할 경우, 방대한 코드 내에서 유의미한 흐름을 놓치는 ‘인지 부하(Cognitive Load)’ 현상을 겪으며 정확도가 급격히 하락합니다. Trace Gadgets는 이 문제를 해결하기 위해 단순한 코드 슬라이싱을 넘어, 정적 트레이싱을 통한 ‘노이즈 제거’라는 독창적인 접근법을 제시합니다.

기술적 핵심은 5단계의 정교한 파이프라인에 있습니다. 바이트코드 분석을 통해 제어 및 데이터 흐름 그래프(CFG/DFG)를 구축한 뒤, 취약점이 발생할 수 있는 ‘Sink’를 식별합니다. 이후 역방향 슬라이싱(Backward Slicing)을 수행하고, 여기에 정적 트레이싱 기술을 더해 로깅이나 무관한 변수 초기화와 같이 취록점 경로와 상관없는 구문을 과감히 삭제합니다. 최종적으로 정제된 핵심 구문들을 단일 함수 형태로 인라인화하여 모델이 집중해야 할 핵심 정보만을 제공합니다.

특히 주목할 점은 이 과정의 효율성입니다. 전처리 시간이 평균 0.12초에 불과하여 대규모 프로젝트에도 실시간 적용이 가능하다는 점은 실무적 가치를 더합니다. 또한, 기존의 정형화된 데이터셋(Juliet, OWASP)에서 벗어나 Docker Hub의 실제 JVM 웹 애플리케이션 32,000여 개를 활용해 구축한 대규모 데이터셋은 모델의 일반화 성능을 높이는 결정적 역할을 했습니다. 이는 모델이 학습 데이터와 테스트 데이터 사이의 간극을 극복하고, 실제 환경의 복잡한 코드 패턴을 학습할 수 있는 토대를 마련했습니다.

현대 소프트웨어 생태계에서 웹 애플리케이션과 API 엔드포인트의 급격한 증가는 보안 취약점 노출 위험을 가속화하고 있습니다. 기존의 수동 점검은 막대한 비용과 시간이 소요되며, 상용 정적 분석 도구(SAST)는 높은 오탐률(False Positive)로 인해 보안 전문가들에게 피로감을 유발합니다. 이러한 배경에서 머신러닝(ML) 기반의 자동화된 취점 탐지가 대안으로 떠오르고 있으나, 모델이 처리해야 할 코드의 양이 너무 방대할 경우 성능이 저하되는 한계가 존재합니다.

본 논문에서 제안하는 ‘Trace Gadgets’는 이러한 한계를 극복하기 위한 혁신적인 코드 표현 기법입니다. 연구진은 실험을 통해 입력 토큰 수가 1,000개를 넘어서면 모델의 코드 이해 능력이 급격히 저하되는 ‘인지 부하’ 현상을 확인했습니다. 이를 해결하기 위해 Trace Gadgets는 취약점과 직접적인 연관이 없는 코드를 사전에 제거하여, 모델에게 ‘최소화되었지만 완전한(minimal but complete)’ 컨텍스트를 제공합니다.

Trace Gadgets의 생성 과정은 매우 체계적입니다. 먼저 JVM 바이트코드를 분석하여 제어 및 데이터 흐름 그래프를 생성합니다. 이후 취약점이 발생할 수 있는 지점인 ‘Sink’를 식별하고, 해당 Sink까지 도달하는 경로를 역방향 슬라이싱으로 추적합니다. 여기서 핵심적인 차별점은 정적 트레이싱을 통해 로깅, 무관한 변수 초기화 등 경로와 무관한 구문을 제거하는 단계입니다. 최종적으로 정제된 구문들을 하나의 함수로 인라인화함으로써, 모델이 불필요한 노이즈 없이 취약점의 핵심 로직에만 집중할 수 있도록 설계되었습니다. 이 모든 과정은 평균 0.12초라는 매우 짧은 시간에 완료되어 대규모 코드베이스에 대한 실시간 적용 가능성을 입증했습니다.

연구의 신뢰성을 뒷받침하기 위해, 연구진은 Docker Hub에서 수집한 32,000여 개의 실제 JVM 웹 애플리케이션을 기반으로 32,886개의 대규모 라벨링된 데이터셋을 구축했습니다. 이는 기존의 실험실 환경용 데이터셋(Juliet, OWASP)보다 훨씬 현실적이고 다양한 시나리오를 포함하고 있어, 모델의 실전 성능을 평가하기에 최적의 조건을 제공합니다.

실험 결과는 놀라웠습니다. UniXcoder, CodeT5+, GPT-4o와 같은 최신 모델들을 대상으로 평가했을 때, Trace Gadgets를 사용한 경우 F1-score가 평균 6.8% 상승했으며, 특히 보안 분석의 가장 큰 골칫거리인 오탐률(False Positive rate)을 29~38%나 감소시켰습니다. 심지어 업계 표준인 GitHub의 CodeQL과 비교했을 때도 미학습 데이터셋에서 4% 이상의 정확도 우위를 점했습니다. 무엇보다 고무적인 것은, 이 기술을 Atlassian Bamboo 및 GeoServer와 같은 실제 기업용 소프트웨어에 적용하여 이전에 발견되지 않았던 두 건의 제로데이 취약점을 발견하고 패치까지 완료했다는 점입니다.

물론 한계도 존재합니다. 현재의 구현은 JVM 바이트코드 환경에 특화되어 있어, C++나 Python 등 다른 언어로 확장하기 위해서는 엔진의 재구축이 필요합니다. 또한, 데이터 라벨링 과정에서 정적 분석 도구에 의존한 부분이 있어 발생할 수 있는 편향성 문제도 과제로 남아 있습니다. 그러나 Trace Gadgets는 AI 기반 보안 기술이 단순한 연구실 수준을 넘어, 실제 소프트웨어 공급망 보안을 강화할 수 있는 강력한 도구가 될 수 있음을 명확히 보여주었습니다.