머신러닝으로 딥러닝 라이브러리 테스트 효율 극대화

초록

본 논문은 텐서 형태를 추상화한 입력 특징을 이용해 머신러닝 분류기를 학습시킴으로써 TensorFlow와 PyTorch API 테스트 시 유효한 입력을 빠르게 판별한다. AutoML 기반 모델은 183개 API에 대해 91% 이상의 정확도를 달성했으며, 기존 fuzzing 도구 ACETest에 통합했을 때 유효 입력 비율을 29%에서 61%로 크게 향상시켰다.

상세 분석

이 연구는 딥러닝 라이브러리의 복잡한 입력 제약을 명시적으로 추출하기 어려운 상황에서, 텐서의 차원과 형태(Shape)만을 특징으로 하는 저차원 추상화를 선택한 점이 핵심이다. Shape 정보는 대부분의 API가 요구하는 구조적 제약을 충분히 표현하면서도 데이터 차원을 크게 축소시켜 머신러닝 모델 학습에 필요한 표본 수와 연산 비용을 크게 낮춘다. 논문은 두 가지 데이터 생성 전략을 사용한다. 첫 번째는 완전 무작위(Random) 방식으로 10 000개의 입력을 생성하고, 실행 결과가 예외를 발생시키면 ‘Invalid’, 정상 반환이면 ‘Valid’로 라벨링한다. 두 번째는 조합 테스트(pairwise) 방식을 적용해 각 파라미터 쌍의 모든 값 조합을 탐색함으로써 보다 균형 잡힌 라벨 분포를 만든다. 이렇게 확보한 라벨 데이터는 AutoGluon AutoML 프레임워크에 투입되어, LightGBM, CatBoost, XGBoost 등 다양한 트리 기반 모델과 신경망 모델을 자동 탐색한다. 실험 결과, 모든 183개 API에 대해 최소 90 % 이상의 정확도를 보이는 모델이 존재했으며, 특히 복잡한 차원 제약을 가진 API에서도 높은 재현율을 유지했다.

통합 단계에서는 ACETest 파이프라인에 사전 필터링 모듈을 삽입한다. 입력 생성 단계에서 만든 5 000개의 후보 중, 배치 추론(batch inference)으로 한 번에 모델에 전달해 유효 가능성이 높은 입력만을 선택한다. 배치 추론은 GPU 가속과 메모리 접근 최적화를 활용해 전체 추론 시간을 0.1 초 수준으로 압축한다. 결과적으로, 기존 ACETest가 5 000개 입력 중 235개만을 유효하게 처리하는 데 32 초가 걸린 반면, ML 필터링을 적용한 버전은 332개 후보 중 143개만을 실행해 10 초 안에 동일 수준의 버그 탐지를 수행했다. 이는 초당 유효 입력 생성 비율을 7.3→14.3으로 두 배 이상 향상시킨 것이다.

또한, 모델 학습에 사용된 라벨 데이터는 전체 입력 공간의 극히 일부에 불과함에도 불구하고, 50 000개의 새로운 입력에 대해 91 % 이상의 정확도를 유지해 일반화 능력이 뛰어남을 입증한다. 모델이 10 % 이상의 양성 샘플만을 학습해도 버그 탐지율이 90 % 이상 유지된다는 점은 라벨링 비용을 크게 절감할 수 있음을 시사한다.

한계점으로는 현재 Shape 기반 특징만을 사용함으로써, 값 자체의 의미(예: 정규화 범위, 데이터 타입 특성)나 연산적 제약(예: 특정 연산이 허용되는 값 범위)까지는 포착하지 못한다는 점이다. 또한, 라벨링 과정이 기존 라이브러리의 입력 검증 로직에 의존하므로, 검증 로직이 잘못되었을 경우 모델도 오류를 학습할 위험이 있다. 향후 연구에서는 값 기반 특징과 정적 분석을 결합해 제약 표현력을 확대하고, 라벨링 단계에서 다중 오라클(예: 메모리 검사, 성능 프로파일링)과 결합해 라벨 품질을 향상시키는 방안을 모색할 수 있다.

전반적으로, 이 논문은 “머신러닝 기반 입력 유효성 분류”라는 간단하지만 강력한 아이디어가 딥러닝 라이브러리 테스트 파이프라인에 실질적인 효율 향상을 가져올 수 있음을 실험적으로 입증했으며, 향후 자동화된 제약 추출 및 테스트 최적화 연구에 중요한 토대를 제공한다.