함수 인라이닝, ML 보안 분석의 숨겨진 취약점을 열다

초록

본 연구는 컴파일러 최적화 기법인 함수 인라이닝이 머신러닝 기반 바이너리 보안 분석에 미치는 심각한 영향을 최초로 포괄적으로 분석합니다. LLVM의 내부 비용 모델을 조사하고, 표준 최적화 수준을 넘어서는 ‘극단적 인라이닝’ 설정을 발견하여, 이로 인해 ML 모델의 판단이 왜곡되고 회피 공격이 가능해질 수 있음을 실험을 통해 증명합니다.

상세 분석

이 논문의 핵심 기술적 분석은 다음과 같은 다층적 통찰을 제공합니다. 첫째, LLVM 컴파일러의 인라이닝 결정 파이프라인은 복잡한 비용 모델에 기반합니다. 이 모델은 인라이닝 후 예상되는 코드 크기 증가와 성능 향상 이점을 정량적으로 평가해 임계값과 비교합니다. 연구팀은 -Rpass=inline 등의 디버그 옵션을 활용해 이 내부 결정 과정을 가시화하고 분석했습니다.

둘째, 연구팀은 공격자가 소스 코드 수정 없이 컴파일러 플래그만 조정하여 ‘극단적 인라이닝’을 유도할 수 있음을 보였습니다. 이는 -inline-threshold, -inlinehint-threshold 등의 미들엔드 옵션과 -O3, -Oz 등의 최적화 레벨을 특정하게 조합함으로써 가능합니다. 이를 통해 인라이닝 비율을 평균 79.64%까지 급격히 높여, 바이너리의 정적 특징(기계어 명령 시퀀스, 제어 흐름 그래프)을 극적으로 변화시킬 수 있습니다.

셋째, 이러한 변화가 ML 모델에 미치는 영향을 5가지 보안 작업(바이너리 코드 유사성 검출, 함수 심볼 이름 예측, 멀웨어 탐지, 멀웨어 패밀리 분류, 취약점 탐지)과 20개의 고유 모델을 통해 체계적으로 평가했습니다. 결과는 충격적입니다: 정적 특징에 의존하는 ML 모델은 인라이닝에 매우 취약하며, 공격자는 극단적 인라이닝을 통해 생성된 바이너리 변종으로 쉽게 ML 모델을 회피(Evasion)할 수 있습니다. 이는 인라이닝이 ‘의도적으로 악의적인’ 변환이 아닌 ‘합법적인 최적화’라는 점에서 더욱 위험합니다.

넷째, 인라이닝 비율은 애플리케이션의 프로그래밍 스타일과 빌드 설정에 따라 크게 달라져, ML 모델 훈련과 평가 시 일관성 있는 데이터 분포를 가정하는 현재 방법론의 근본적 문제를 지적합니다. 이 연구는 컴파일러 최적화와 ML 기반 보안 분석의 교차점에 대한 새로운 경각심을 불러일으키며, 향후 모델은 이러한 컴파일 시간 변이에 대해 더 강건해야 함을 시사합니다.